Przenoszenie około 300 GB plików z jednego serwera na drugi

Mam dziś około 200 000 plików, które przesyłam na nowy serwer. Nie robiłem nic na tak dużą skalę i chciałem uzyskać porady, jak powinienem to zrobić. Przenoszę je między dwie dystrybucje Centos 6 i znajdują się one w różnych lokalizacjach w kraju. Nie mam wystarczającej ilości miejsca na dysku twardym na oryginalnym serwerze, aby spakować wszystkie katalogi i pliki do jednego ogromnego archiwum, więc mam pytanie, jak mam przenieść wszystkie te pliki? rsync? jakiś specjalny sposób korzystania z rsync? Wszelkie uwagi / sugestie, jak to zrobić, byłyby niesamowite.

Dzięki

EDYCJA: dla tych, którzy zastanawiają się, WYSOKIE sugeruję użycie a screenpodczas uruchamiania takiego dużego rsyncpolecenia. Zwłaszcza, gdy może wystąpić coś głupiego i utracisz połączenie z serwerem A, z którego uruchamiasz rsyncpolecenie. Następnie wystarczy odłączyć ekran i wznowić go później.

Wystarczy ukształtowaniu Simona odpowiedź , rsyncjest idealnym narzędziem do pracy:

   Rsync  is  a  fast  and extraordinarily versatile file copying
   tool.  It can copy locally,  to/from  another  host  over  any
   remote  shell,  or to/from a remote rsync daemon.  It offers a
   large number of options  that  control  every  aspect  of  its
   behavior  and permit very flexible specification of the set of
   files to be copied.  It is famous for its delta-transfer algo‐
   rithm,  which reduces the amount of data sent over the network
   by sending only the differences between the source  files  and
   the  existing  files in the destination.  Rsync is widely used
   for backups and mirroring and as an improved copy command  for
   everyday use.

Zakładając, że masz dostęp ssh do zdalnego komputera, chciałbyś zrobić coś takiego:

rsync -hrtplu path/to/local/foo user@remote.server.com:/path/to/remote/bar

Spowoduje to skopiowanie katalogu path/to/local/foodo /path/to/remote/barzdalnego serwera. Zostanie utworzony nowy podkatalog o nazwie bar/foo. Jeśli chcesz tylko skopiować zawartość katalogu, bez tworzenia katalogu o tej nazwie w celu, dodaj ukośnik:

rsync -hrtplu path/to/local/foo/ user@remote.server.com:/path/to/remote/bar

Spowoduje to skopiowanie zawartości foo/do katalogu zdalnego bar/.

Kilka odpowiednich opcji:

 -h,                         output numbers in a human-readable format 
 -r                          recurse into directories
 -t, --times                 preserve modification times
 -p, --perms                 preserve permissions
 -l, --links                 copy symlinks as symlinks
 -u, --update                skip files that are newer on the receiver
 --delete                    delete extraneous files from dest dirs
 -z, --compress              compress file data during the transfer
 -C, --cvs-exclude           auto-ignore files in the same way CVS does
 --progress                  show progress during transfer
 --stats                     give some file-transfer stats

To zależy od tego, jak szybko trzeba go skopiować i jaka jest dostępna przepustowość.

W przypadku słabego połączenia sieciowego rozważ przepustowość ciężarówki wypełnionej taśmami. (Przeczytaj: prześlij 2,5-calowy dysk twardy lub po prostu napisz go tam sam. 300 dysków gigabitowych powinno być łatwe do znalezienia).

Jeśli czas jest mniej krytyczny lub masz dużą przepustowość, rsync jest świetny. Jeśli wystąpi błąd, możesz po prostu kontynuować bez ponownego kopiowania wcześniejszych plików.

[Edytuj] Zapomniałem dodać, że możesz uruchomić rsync kilka razy, jeśli twoje dane zostaną wykorzystane podczas kopiowania.

Przykład:
1) Dane w użyciu. Rsync -> Wszystkie dane zostaną skopiowane. To może zająć troche czasu.
2) Uruchom ponownie rsync, tylko zmienione pliki zostaną skopiowane. To powinno być szybkie.

Możesz to zrobić kilka razy, dopóki nie zostaną wprowadzone żadne zmiany, lub możesz to zrobić w inteligentny / bezpieczny sposób, czyniąc dane tylko do odczytu podczas kopiowania. (np. jeśli jest na używanym wspólnym zestawie, który współużytkuje tylko do odczytu. Lub zsynchronizuj dane, to w nocy ustaw udział tylko do odczytu, gdy uruchomisz go po raz drugi).

Wybrałbym rsync! Używam go do tworzenia kopii zapasowych mojego serwera na serwerze zewnętrznym i działa dobrze. Zwykle jest kilka MB do skopiowania, ale w niektóre dni zwiększa się do 20-30 GB i zawsze działało bez problemu.

rsync przez NFS przy użyciu połączenia Gigabit zajmie prawie około 10 godzin. Lepiej będzie skopiować dane na dysk twardy i przenieść je między serwerami. Jeśli chcesz wykonać kopię dysku w trybie jeden do jednego, użyj dd lub czegoś podobnego, aby utworzyć surowy obraz dysku. Korzystanie z ssh (scp) powoduje ogromne obciążenie. Testowany empirycznie na połączeniu Gigabit. rsync jest dobry w tworzeniu przyrostowej synchronizacji między dwoma serwerami używanymi w HA lub w trybie kopii zapasowej. Zgaduję.

po raz pierwszy użyj NFS i tar / untar (NFS jest najszybszym protokołem w tym przypadku, tar, aby zaoszczędzić przepustowość sieci przez większe wykorzystanie procesora)

tar cf - * | ( cd /target; tar xfp -)

następnym razem / s użyj rsync