Jakie są „dobre” prędkości dla iSCSI i NFS w sieci Ethernet 1GB?

Mam skrzynkę OpenSolaris udostępniającą dwa systemy plików ZFS. Jednym z nich jest połączenie NFS z urządzeniem CentOS, na którym działa serwer VMware (obrazy dysków są przechowywane w ZFS). Drugim jest połączenie iSCSI z serwerem Windows 2008 z formatowaniem NTFS na ZFS. Oba połączenia są bezpośrednie przez gig-E (bez przełączników).

Używam munina, aby monitorować skrzynki, ale nie jestem pewien, jakich liczb powinienem się spodziewać. Czy ktoś może mi podać podstawowe liczby do porównania lub podać sugestie, od czego zacząć strojenie?

Oto statystyki NFS, które widzę, opublikuję iSCSI, gdy naprawię Munina na polu solaris: P

Przekazaliśmy zapis Sun X4100 na połączonych GigE i iSCSI do Sun X4500 do 280 MB / s.

Jest wiele rzeczy, które można zrobić, aby dostroić stos TCP w Solarisie, aby pomóc, to moja konfiguracja strojenia. (pobierz z pewnej kolekcji oficjalnych dokumentów firmy Sun):

$ cat /etc/rc3.d/S99ndd
#!/bin/bash

NDD=/usr/sbin/ndd

$NDD -set /dev/tcp tcp_xmit_hiwat 1048576
$NDD -set /dev/tcp tcp_recv_hiwat 8388608
$NDD -set /dev/tcp tcp_max_buf 8388608
$NDD -set /dev/udp udp_xmit_hiwat 1048576
$NDD -set /dev/udp udp_recv_hiwat 8388608
$NDD -set /dev/udp udp_max_buf 8388608
$NDD -set /dev/tcp tcp_conn_req_max_q 65536
$NDD -set /dev/tcp tcp_conn_req_max_q0 65536
$NDD -set /dev/tcp tcp_fin_wait_2_flush_interval 67500

Warto również zajrzeć na maszynę OpenSolaris, zmieniając interwał fsflush, regulację przerwań „magię” i wyłączając miękkie pierścienie. Dołącz następujące elementy do / etc / system (wymagane ponowne uruchomienie):

* "fsflush" tuning
set tune_t_fsflushr = 5
set autoup = 300
* Disable the Automatic Interrupt Adjustment
set dld:dld_opt = 2
* Disable "soft rings"
set ip:ip_squeue_fanout = 0
set ip:ip_soft_rings_cnt = 0

Warto wspomnieć, że robię to na Solarisie 10 - nie na OpenSolarisie - ale myślę, że tunery powinny działać dla ciebie tak samo.

Jestem wielkim fanem Filebench do zabawy z opcjami strojenia i wykonywania testów przepustowości.

• FileBench na SolarisInternals Wiki
• FileBench na SourceForge

Wydanie (ostatnio przemianowane) OpenSolaris 2009.06 wydaje się być bardzo ekscytujące w świecie iSCSI i ZFS.

Mam nadzieję, że to pomoże niektórym!

Dostaję około 90 MB / s do moich tablic EMC AX150i przez iSCSI na 1GB Ethernetu.

W przypadku pojedynczego dd lub bonnie ++ (szybkość surowa, zapis liniowy) powinieneś zbliżyć się do prędkości drutu.

Ale twoim wąskim gardłem będzie macierz dyskowa, gdy zaczniesz otrzymywać losowe obciążenie IO wielu maszyn wirtualnych, znacznie więcej niż transport.

Ponadto, jeśli nie masz pamięci podręcznej zapisu zasilanej bateryjnie ze znaczną ilością pamięci RAM, wydajność spadnie, gdy zaczniesz uzyskiwać dużo zapisów przy każdym innym IO.

Udało mi się przesłać dane przez iSCSI do około 200 Mbit / s przez łącza 1 GB. Ale miałem 14-dyskową macierz RAID 6 obsługiwaną przez EMC CX4-240, przy czym niewiele wtedy używało pamięci podręcznej.

Największym wąskim gardłem będzie prawdopodobnie ilość pamięci podręcznej kontrolera i szybkość dysków (gdy pamięć podręczna się zapełni).

Dostaję około 80 MB / S na mój serwer Windows przez ISCSI w sieci Ethernet 1G. Cel: KernSafe iStorage Server http://www.kernsafe.com/Product.aspx?id=5 Inicjator: Microsoft Initiator www.microsoft.com/downloads/details.aspx?familyid=12cb3c1a-15d6-4585-b385-befd1319f825&displaylang= en

Hardisk: ATA 7200

Dla tych z nas, którzy są bliżej półprofesjonalnego końca rzeczy (zamiast pro), otrzymuję stały i konsekwentny odczyt 150 MB 120 MB zapisu z serwera W2012 podwójny 1 gb nic połączony poprzez zarządzany przełącznik draytek do blackarmorsnas przez miedź RJ45, pojedynczy transfer pliku 20 GB. Brak innych jednoczesnych operacji podczas testu. Aby to osiągnąć, używam jumbo frame 9k, rx i tx flow, tj. Wszystkie normalne optymalizacje sterowników, ale żadnych poprawek poza włączaniem i zwiększaniem jumbo frame do max.