jaki jest najszybszy i najbardziej niezawodny sposób przesyłania dużej liczby plików?

Próbuję przesłać około 100 000 plików o łącznej wielkości 90 GB. Obecnie używam demona rsync, ale jego szybkość 3,4 Mb / s muszę to zrobić wiele razy. Zastanawiam się, jakie mam opcje, które zmaksymalizują połączenie 100mbit przez Internet i będą bardzo niezawodne.

Czy rozważałeś Sneakernet ? Przy dużych zestawach danych nocna wysyłka jest często szybsza i tańsza niż przesyłanie przez Internet.

W jaki sposób? Lub TL; DR

Najszybszy sposób znalazłem to połączenie tar, mbuffera ssh.

Na przykład:

tar zcf - bigfile.m4p | mbuffer -s 1K -m 512 | ssh otherhost "tar zxf -"

Dzięki temu osiągnąłem trwały transfer sieci lokalnej ponad 950 Mb / s na łączach 1 Gb. Zamień ścieżki w każdym poleceniu tar, aby były odpowiednie do tego, co przenosisz.

Dlaczego? mbuffer!

Największym wąskim gardłem w przesyłaniu dużych plików przez sieć jest zdecydowanie dyskowe operacje we / wy. Odpowiedź brzmi: mbufferlub buffer. Są w dużej mierze podobne, ale mbuffermają pewne zalety. Domyślny rozmiar bufora to 2 MB dla mbufferi 1 MB dla buffer. Większe bufory prawdopodobnie nigdy nie będą puste. Wybór rozmiaru bloku, który jest najniższą wspólną wielokrotnością rodzimego rozmiaru bloku zarówno w docelowym, jak i docelowym systemie plików, zapewni najlepszą wydajność.

Buforowanie jest rzeczą, która sprawia, że wszystkie różnica! Użyj go, jeśli go masz! Jeśli go nie masz, weź go! Używanie (m}?bufferplus cokolwiek jest lepsze niż cokolwiek innego. jest to niemal dosłownie panaceum na powolne przesyłanie plików w sieci.

Jeśli przenosisz wiele plików, użyj ich, taraby „połączyć” je w jeden strumień danych. Jeśli jest to pojedynczy plik, którego można użyć catlub przekierowanie we / wy. Obciążenie tarvs. catjest statystycznie nieistotne, więc zawsze używam tar(lub zfs -sendgdzie mogę), chyba że jest to już tarball . Żadne z nich nie gwarantuje otrzymania metadanych (w szczególności catnie będzie). Jeśli chcesz metadanych, zostawię to jako ćwiczenie dla ciebie.

Wreszcie użycie sshmechanizmu transportowego jest zarówno bezpieczne, jak i niesie za sobą bardzo niewiele kosztów. Ponownie, narzut sshkontra vs. ncjest statystycznie nieistotny.

Wspominasz o „rsync”, więc zakładam, że używasz Linuksa:

Dlaczego nie tworzysz pliku tar lub tar.gz? Czas transferu sieciowego jednego dużego pliku jest szybszy niż wielu małych. Możesz go nawet skompresować, jeśli chcesz ...

Smoła bez kompresji:

Na serwerze źródłowym:

tar -cf file.tar /path/to/files/

Następnie na końcu odbierającym:

cd /path/to/files/
tar -xf /path/to/file.tar

Smoła z kompresją:

Na serwerze źródłowym:

tar -czf file.tar.gz /path/to/files/

Następnie na końcu odbierającym:

cd /path/to/files/
tar -xzf /path/to/file.tar.gz

Po prostu użyłbyś rsync do faktycznego przesłania plików (tar | tar.gz).

Można spróbować tari sshtrik opisany tutaj :

tar cvzf - /wwwdata | ssh root@192.168.1.201 "dd of=/backup/wwwdata.tar.gz"

powinno to być możliwe do ponownego zapisu do następujących czynności :

tar cvzf - /wwwdata | ssh root@192.168.1.201 "tar xvf -"

Jednak stracisz --partialcechy rsynctego procesu. Jeśli pliki nie zmieniają się bardzo często, warto zainwestować w powolny inicjał rsync, ponieważ w przyszłości będzie on działać znacznie szybciej.

Możesz użyć różnych opcji kompresji rsync.

-z, --compress              compress file data during the transfer
     --compress-level=NUM    explicitly set compression level
     --skip-compress=LIST    skip compressing files with suffix in LIST

współczynnik kompresji plików binarnych jest bardzo niski, więc można je pomijać przy użyciu opcji --skip-compress np. iso, już zarchiwizowanych i skompresowanych plików archiwalnych itp.

Jestem wielkim fanem SFTP. Używam SFTP do przesyłania multimediów z mojego głównego komputera na mój serwer. Dostaję dobre prędkości przez LAN.

SFTP jest niezawodny, dałbym temu szansę, ponieważ jest łatwy w konfiguracji, aw niektórych przypadkach może być szybszy.