Maksymalizacja wydajności i przepustowości rsync - bezpośrednio połączone gigabitowe serwery

Mam dwa serwery Dell R515 z systemem CentOS 6.5, z jednym z NIC Broadcom bezpośrednio połączonymi. Używam bezpośredniego linku, aby co noc przesyłać kopie zapasowe z głównego serwera w parze do pomocniczego przy użyciu rsync przez ssh. Monitorując ruch, widzę przepustowość ~ 2 MB / s, czyli o wiele mniej niż oczekiwałbym od portu gigabitowego. Ustawiłem MTU na 9000 po obu stronach, ale to nic nie zmieniło.

Czy istnieje zalecany zestaw ustawień i optymalizacji, które doprowadziłyby mnie do maksymalnej dostępnej przepustowości? Co więcej, ponieważ używam rsync przez ssh (lub potencjalnie po prostu NFS) do kopiowania milionów plików (~ 6 TB małych plików - ogromny sklep pocztowy Zimbra), optymalizacje, których szukam, mogą wymagać bardziej szczegółowej specyfikacji dla mojego konkretnego przypadku użycia .

Używam ext4 po obu stronach, jeśli to ma znaczenie

Dzięki

EDYCJA: Użyłem następujących rsyncopcji z prawie podobnymi wynikami:

rsync -rtvu --delete source_folder/ destination_folder/

rsync -avHK --delete --backup --backup-dir=$BACKUPDIR source_folder/ destination_folder/

Obecnie patrzę na ten sam poziom niskiej wydajności, gdy korzystam cpz eksportu NFS, przez to samo bezpośrednie łącze kablowe.

EDYCJA 2: po zakończeniu synchronizacji mogłem uruchomić iperfi stwierdziłem, że wydajność wynosiła około 990 Mb / s, spowolnienie było spowodowane faktycznym zestawem danych w użyciu.

Największą barierą są prawdopodobnie liczba plików i narzut związany z szyfrowaniem SSH. Przy takim przelewie nie zobaczysz prędkości drutu.

Opcje do poprawy obejmują:

• Korzystanie z rsync + SSH z mniej kosztownym algorytmem szyfrowania (np. -e "ssh -c arcfour")
• Całkowite wyeliminowanie szyfrowania w transporcie SSH za pomocą czegoś takiego jak HPN-SSH .
• Przelewy blokowe. Migawki, dd, ZFS snapshot wyślij / odbierz , etc.
• Jeśli jest to jednorazowy lub rzadki transfer, za pomocą tarnetcat ( nc), mbuffer lub jakiejś kombinacji.
• Sprawdź tuned-admustawienia CentOS .
• Usuwanie atime z montowań systemu plików. Sprawdzanie innych opcji montowania systemu plików.
• Bufory wysyłania / odbierania karty sieciowej.
• Dostrajanie rsyncpolecenia. Czy -Wmiałaby sens tutaj opcja całych plików? Czy kompresja jest włączona?
• Zoptymalizuj podsystem pamięci masowej pod kątem rodzaju transferów (dyski SSD, liczba wrzecion, pamięć podręczna kontrolera RAID).

Jak zapewne wiesz, kopiowanie wielu małych plików (np. Skrzynek pocztowych w formacie MailDir lub podobnym) zdecydowanie nie jest najlepszą opcją korzystania z interfejsów o dużej przepustowości. SSH prawdopodobnie nie jest najlepszym protokołem transportowym do tego. Spróbowałbym użyć tar do utworzenia tarballa na hoście źródłowym przed wysłaniem go do drugiego hosta.

tar c /var/mail | ssh root@secondary-host 'tar x -C /var/backups'

Jeśli potrzebujesz przyrostowej kopii zapasowej, możesz wypróbować -gopcje tar. Jeśli nadal musisz zmaksymalizować throuput, spróbuj użyć netcat zamiast ssh.

Spróbuj drażnić czynniki, które się do tego przyczyniły:

• Procesor (np. Dd / dev / zero przesyłany przez sprzężenie zwrotne)
• dysk I / O (np. dd dużego pliku przesłanego do cat> / dev / null [przesyłane w celu zapobiegania zwarciom])
• fizyczna sieć I / O (np. dd podłączona do innej maszyny)
• itp.

i testowanie ich niezależnie.

Miałem złe doświadczenia ze sterownikami Broadcom, więc moją pierwszą sugestią jest przetestowanie użytecznej przepustowości sieci za pomocą: dd if=/dev/zero bs=1m count=10k | rsh backup_host cat \> /dev/null