Muszę skopiować bardzo duży katalog (tutaj mówię w terabajtach) i chcę monitorować postęp.
Odkryłem, że pvjest to przydatne narzędzie, ale jak mogę go używać do rekurencyjnego kopiowania katalogów? ( pv src > dstnie działa, ponieważ są katalogami)
PS: działający na systemie OS X Mountain Lion pvzostał zainstalowany z portów Mac
Odpowiedzi:
Posługiwać się rsync --progress [SRC] [DST]
Sprawdź man rsyncstronę, ponieważ ma wiele bardzo przydatnych opcji. -aarchiwizacja to dobry początek, ale zależy to od twoich dokładnych wymagań.
Kopiowanie przez potok niepotrzebnie spowalnia proces kopiowania, szczególnie jeśli jest oparty na plikach.
Można użyć taralbo paxalbo cpio:
mkdir -p dst &&
(cd src && tar cf - .) | pv -trb | (cd dst && tar xpf -)
vdo tarpolecenia, aby zobaczyć nazwy plików.
tar cf -wysyła strumień zawierający pliki i ich metadane, który jest przekazywany przez potok do pv, który przekazuje go nietknięty drugiemu tarpodczas drukowania wskazania postępu, a drugi tarwyodrębnia dane z tego strumienia. Wszystkie trzy polecenia działają jednocześnie i przetwarzają dane, tak jak są, nic nie jest przechowywane na dysku, nic nie jest przechowywane w pamięci oprócz buforów potoków i wewnętrznych buforów poleceń, które wynoszą zaledwie kilka kilobajtów.
pvnie ma sposobu, aby dowiedzieć się, ile danych jest do przesłania. Jeśli masz oszacowanie tej kwoty, możesz przekazać ją do niej z -sopcją (GNU du -sb srcdałoby ci dobre przybliżenie, jeśli pliki są wystarczająco duże)
Smoła.
tar -cf - /var/log/ | pv | tar -C . -x
Przykład:
# tar -cf - /var/log/ | pv | tar -C . -x
tar: Removing leading `/' from member names
58MB 0:00:05 [ 2.2MB/s] [ <=>
Oto niektóre polecenia do kopiowania katalogów z informacjami o postępie.
Jeśli jest wiele małych plików:
cp -av sourcedir targetdir | pv -l -s filecount > logfile
Spowoduje to zgłoszenie postępów na podstawie liczby skopiowanych plików.
Możesz przekierować do, /dev/nulljeśli nie potrzebujesz logfile.
Użyj następującego polecenia, aby uzyskać filecount:
find sourcedir | wc -l
Jeśli jest kilka dużych plików:
tar c sourcedir | pv -s size | tar x -C targetdir
Spowoduje to zgłoszenie postępu na podstawie skopiowanych bajtów.
targetdir musi istnieć.
Użyj następującego polecenia, aby uzyskać size:
du -sh sourcedir
Jeśli chcesz użyć rsync:
rsync -ai sourcedir/ targetdir/ | pv -l -s filecount > logfile
Zdobądź filecountjak pokazano powyżej.
Jeśli kopiujesz w tym samym systemie, rsync -ajest praktycznie taki sam jak cp -a. Zalety rsync polegają na kopiowaniu przez sieć lub aktualizowaniu (lub porównywaniu) poprzedniej kopii.
Zobacz tutaj po więcej szczegółów:
find source-dir -print0 | xargs -0 -I % pv % > dest-dir/%