Das ist doch mal nen Fortschritt und klarer Sprung über die 10G Marke. Bei dem 4Lane-System wärst immerhin schon bei 75% PCIe-Auslastung, die Timing-Probleme werden somit nur noch größer werden was sich wiederum nicht gerade Positiv auf TCP auswirkt. Wenn du auf 80-85% kommen würdest, wäre das finde ich schon ein recht guter Wert. Nun wirds schwer. 1) Schau dir die Socketbuffer an. Hat der illumos kernel TCP-Autotuning? Wenn ja wie sehen die max-werte für die Socketbuffer aus? 64k als initial ist okay, aber nur wenn die Max-Werte gross genug sind. (vgl Linux $ cat /proc/sys/net/core/rmem_default $ cat /proc/sys/net/core/rmem_max ). Mal das Bandwith-Delay-Product ausgerechnet? Die RTT bei direktverkabelung dürfte zwar weit unter 1msec liegen aber bei 20G Bandbreite kommt da dennoch was zusammen so daß die TCP-Defaults wohl nicht mehr ganz passen werden. 2) Was sagt denn "ifconfig <ethX>" ? Hast du Drops? Overruns? Wie sind die RX-Ring-Parameter der NIC ? (vgl. Linux -> ethtool -g|--show-ring ethX ). Ggf die Ring-Parameter anpassen. 3) Zu guter letzt, wasn das fürn NIC-Chipsatz? Intel? Broadcom oder was interessantes wie Myricom? Nach http://hub.opensolaris.org/bin/view/Project+crossbow/nic sollte der ixgb Treiber für Intel alle interessanten sachen unterstützen -> Stichwort MSI-X, RSS, multiple Hardware RX-Rings.