Przesyłanie milionów plików z jednego serwera na drugi

Mam dwa serwery. Jeden z nich ma 15 milionów plików tekstowych (około 40 GB). Próbuję przenieść je na inny serwer. Rozważałem spakowanie ich i przeniesienie archiwum, ale zdałem sobie sprawę, że to nie jest dobry pomysł.

Więc użyłem następującego polecenia:

scp -r usrname@ip-address:/var/www/html/txt /var/www/html/txt

Zauważyłem jednak, że to polecenie przesyła tylko około 50 000 plików, a następnie połączenie zostaje utracone.

Czy jest jakieś lepsze rozwiązanie, które pozwala mi przenieść całą kolekcję plików? Mam na myśli coś w rodzaju rsynctransferu plików, które nie zostały przesłane po utracie połączenia. Gdy nastąpi kolejne przerwanie połączenia, ponownie wpiszę polecenie, aby przesłać pliki, ignorując te, które zostały już pomyślnie przesłane.

Nie jest to możliwe scp, ponieważ zawsze zaczyna się od pierwszego pliku.

Jak mówisz, użyj rsync:

rsync -azP /var/www/html/txt/ username@ip-address:/var/www/html/txt

Dostępne są następujące opcje:

-a : enables archive mode, which preserves symbolic links and works recursively
-z : compress the data transfer to minimise network usage
-P : to display a progress bar and enables you to resume partial transfers

Jak mówi @aim w swojej odpowiedzi, upewnij się, że masz trailing /w katalogu źródłowym (w obu przypadkach jest w porządku).

Więcej informacji ze strony man

Wystarczy użyć rsync nad ssh!

rsync -av username@ip:/var/www/html/txt /var/www/html/

Ze strony podręcznika:

-a , - archive : Jest to równoważne z -rlptgoD. Jest to szybki sposób na powiedzenie, że chcesz rekurencji i chcesz zachować prawie wszystko (z -H jest zauważalnym pominięciem). Jedynym wyjątkiem od powyższej równoważności jest to, że podano --files-from, w którym to przypadku nie sugeruje się -r.

-v , - verbose : Ta opcja zwiększa ilość informacji przekazywanych podczas przesyłania. Domyślnie rsync działa w trybie cichym. Pojedynczy -v poda informacje o tym, jakie pliki są przesyłane, a na końcu krótkie streszczenie. Dwie opcje -v podadzą informacje o tym, które pliki są pomijane, i nieco więcej informacji na końcu. Więcej niż dwie opcje -v powinny być używane tylko podczas debugowania rsync.

Zwróć uwagę, jak użyłem ukośników na końcu folderów - to ważne .

Użyj lftp, jest znacznie szybszy niż rsync i najlepszy do tworzenia kopii lustrzanych stron internetowych (wiele małych plików). Może również przesyłać równolegle za pomocą wielu połączeń:

lftp -u username,password sftp://ip-address -e 'mirror --only-newer --no-dereference --parallel=5 /remote/path/ /destination/;quit'

Jeśli jedno połączenie zostanie zerwane, zostanie ponownie połączone i będzie kontynuowane. Przerwanie transferu spowoduje pominięcie istniejących plików i kontynuowanie.

http://lftp.yar.ru/

Innym sposobem jest przesłanie pliku tar (opcjonalnie skompresowanego) przez ssh:

tar -czf - ./* | ssh other.host.foo "cd /tmp; tar -xzf-"