Linux na Linux, transfer 10 TB?

9

Patrzyłem na wszystkie poprzednie podobne pytania, ale odpowiedzi zdawały się być wszędzie i nikt nie przenosił dużo danych (100 GB różni się od 10 TB).

Mam około 10 TB, które muszę przenieść z jednej macierzy RAID do drugiej, gigabit Ethernet, darmowa encyklopedia, systemy plików XFS . Moim największym zmartwieniem jest to, że umiera transfer w połowie drogi i nie mogę łatwo wznowić. Szybkość byłaby dobra, ale zapewnienie transferu jest znacznie ważniejsze.

Zwykle po prostu używam tar & netcat, ale macierz RAID, z której się przeprowadzam, jest ostatnio bardzo niestabilna i muszę odzyskać i wznowić, jeśli spadnie w połowie procesu. Czy powinienem patrzeć na rsync ?

Przyglądając się temu nieco bardziej, myślę, że rsync może być zbyt wolny i chciałbym uniknąć tego zajmowania 30 dni lub dłużej. Teraz szukam sugestii, jak monitorować / wznawiać przesyłanie za pomocą netcat .

— lostincode
źródło

Czasami muszę wykonywać duże transfery plików (ale nie 10 TB;) rsync ma wiele flag, niektóre z nich mogą mieć wpływ na wydajność przesyłania dużych plików (myślę, że na przykład --checksum i --archive mogą cię spowolnić. zrobiłoby to dużą różnicę przy przesyłaniu 10 TB.). Czy ktoś może polecić dobre opcje, które pomogą zoptymalizować wydajność tak dużego transferu plików? Czy tuning --block-size=SIZEpomógłby?

— Stefan Lasiewski

czy jest jakiś sposób na usunięcie narzutu ssh?

— lostincode

1

skonfigurować rsyncd po stronie odbierającej? nie ma potrzeby ssh

— cpbills

3

Uruchom demona rsync po stronie odbierającej, a także klienta po stronie wysyłającej.

— Wstrzymano do odwołania.

2

Jeśli nie możesz skonfigurować demona rsync z jednej strony i utkniesz w SSH, możesz zmniejszyć obciążenie szyfrowaniem za pomocą mniej dobrego szyfrowania, takiego jak: rsync -avz -e 'ssh -c arcfour' SOURCE DEST

— David

14

tak, rsync

poza nieparzystym ostatnio pojawiły się funkcje asynchroniczne DRBD.

— kagenut
źródło

1

+1 dla Rsync. Król transferów system-system w systemie Linux.

— grufftech,

+1, rsync (i jego odpowiednik Windows DeltaCopy) to koniec wydajnego powielania plików między serwerami.

— Chris S

1

+1 dla rsync, ale dodam, że może być szybsze, aby zrobić to „lokalnie” na podstawie montowania NFS zamiast ponosić koszty związane z rsync lub SSH.

— James Sneeringer,

2

Nigdy nie lekceważ przepustowości wozu kombi pełnego taśm. 10 TB byłoby wykonalne przy stosunkowo niedrogim sprzęcie NAS klasy konsumenckiej, gdyby można go podzielić na (powiedzmy 2 TB) porcje. Jeśli jest to jednorazowe działanie, wówczas proces półautomatyczny może być wykonalny, a NAS o pojemności 2 TB kosztuje zaledwie kilkaset dolarów.

Jeśli potrzebujesz ciągłego procesu, możesz skonfigurować RSYNC po wykonaniu początkowego transferu.

— ConcernedOfTunbridgeWells
źródło

W pierwotnym pytaniu wspomniano, że jest to już sieć lokalna.

— Ladadadada,

1

Który wydaje się być zbyt wolny i / lub zawodny dla celów PO.

— ConcernedOfTunbridgeWells

2

Kilka miesięcy temu musiałem wykonać tego rodzaju zadanie. Użyłem równoległego rsync, aby przyspieszyć proces. Dzieli pliki, które mają zostać przesłane / zsynchronizowane na części, i można je wznowić w dowolnym momencie. Zobacz poniższy link do równoległego skryptu rsync.

https://gist.github.com/rcoup/5358786

— Pierre Bergdolt
źródło

0

Możesz spróbować skonfigurować serwer FTP na serwerze z danymi do skopiowania i użyć klienta FTP z „wznowieniem” po stronie odbierającej. Używam serwera i klienta Filezilla i dość często korzystam z funkcji „wznawiania” klienta, która zawsze działała bez żadnych problemów.

— jamesbtate
źródło