Optymalizacja rsync do szybkiego przesyłania dużych plików


19

To jest to, czego potrzebuję:

  • Demon Rsync działający na serwerze źródłowym. Serwer docelowy wykonuje rsync jak poniżej:
    rsync -ptv rsync: // plik_źródłowy: dokument / ścieżka_źródłowa / *. abc ścieżka_docelowa /
  • Ogromne pliki binarne (od 3 GB do 5 GB) są kopiowane z komputera źródłowego do miejsca docelowego przez sieć LAN. Dlatego nie jest wymagane szyfrowanie / deszyfrowanie. Dlatego nie używa SSH. Maszyna docelowa łączy się bezpośrednio z demonem rsync.
  • Folder docelowy zawsze będzie pusty przed ściągnięciem rsync. Więc nie muszę się martwić o warunkową aktualizację niektórych plików. Rsync pull zawsze tworzy nowe pliki w miejscu docelowym (nie aktualizuje). Dlatego nie potrzebuję rsync do obliczania sum kontrolnych.

Nie jestem zadowolony z ilości procesora zużywanego przez rsync na końcu odbierającym? Jakie opcje rsync pomogą mi zoptymalizować użycie rsync w wyżej opisanym przypadku. Niepokoi mnie to, że rsync może robić więcej, niż potrzebuję. Pliki sum kontrolnych rsync. Nie potrzebuję tego

Chciałbym również zobaczyć poprawę prędkości.

Zmiana rozmiaru bloku, wyłączenie sumy kontrolnej itp. Pomoże?


Nie używaj rsync, jeśli nie ma delty do przesłania.
womble

3
@womble: Jakiego narzędzia powinienem wtedy użyć? Rsync został zasugerowany tutaj
Varun

netcat lub scp z zerowym szyfrem.
womble

3
Scp z zerowym szyfrem? Czy jesteś pewien, że scp obsługuje zerowy szyfr? Czy możesz podać jeden przykład lub wskazać odpowiednie zasoby?
Varun

Odpowiedzi:


25

Wygląda na to, że możesz rzucić okiem na przełącznik --whole-filelub -W. Opcja ta jest domyślnie włączona, jeśli rsync wykonuje kopie lokalnego systemu plików, ale myślę, że doktorzy zalecają jej użycie, jeśli prędkość sieci LAN jest wysoka i synchronizacja przez sieć.

Zasadniczo wyłącza algorytm delta rsync i po prostu przesyła cały plik, jeśli uważa, że ​​jest inny.

Nie powinieneś się martwić o sumowanie, chyba że wymusisz -c. Domyślnie po prostu patrzy na czas ostatniej modyfikacji i rozmiar pliku i zakłada, że ​​pliki są różne, jeśli te wartości są różne.

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.