Kiedyś rsynckopiowałem dużą liczbę plików, ale mój system operacyjny (Ubuntu) uruchomił się nieoczekiwanie.

Po ponownym uruchomieniu uruchomiłem rsyncponownie, ale z danych wyjściowych na terminalu odkryłem, że rsyncnadal kopiowały te już skopiowane wcześniej. Ale słyszałem, że rsyncjest w stanie znaleźć różnice między źródłem a miejscem docelowym, a zatem po prostu skopiować różnice. Zastanawiam się więc, czy rsyncmogę wznowić to, co zostało po raz ostatni?

Po pierwsze, jeśli chodzi o część „wznawiania” pytania, --partialpo prostu mówi stronie odbierającej, aby zachowała częściowo przesłane pliki, jeśli strona wysyłająca zniknie, jakby zostały całkowicie przeniesione.

Podczas przesyłania pliki są tymczasowo zapisywane jako pliki ukryte w folderach docelowych (np. .TheFileYouAreSending.lRWzDC) Lub w specjalnie wybranym folderze, jeśli ustawisz --partial-dirprzełącznik. Gdy przesyłanie się nie powiedzie i --partialnie zostanie ustawione, ten ukryty plik pozostanie w folderze docelowym pod tą tajemniczą nazwą, ale jeśli --partialzostanie ustawiony, nazwa pliku zostanie zmieniona na rzeczywistą nazwę pliku docelowego (w tym przypadku TheFileYouAreSending), nawet jeśli plik nie jest kompletny. Chodzi o to, że można później zakończyć przenoszenie ponownie uruchomiony z rsync albo --appendalbo --append-verify.

Tak więc, --partialnie sama wznowić uszkodzonego lub odwołany transfer. Aby go wznowić, przy następnym uruchomieniu będziesz musiał użyć jednej z wyżej wymienionych flag. Tak więc, jeśli musisz upewnić się, że cel nigdy nie będzie zawierał plików, które wydają się być w porządku, ale w rzeczywistości są niekompletne, nie powinieneś używać --partial. I odwrotnie, jeśli chcesz się upewnić, że nigdy nie pozostawisz zabłąkanych plików, które są ukryte w katalogu docelowym, i wiesz, że będziesz w stanie dokończyć transfer później, --partialpomoże Ci to.

W odniesieniu do --appendwspomnianego powyżej przełącznika jest to rzeczywisty przełącznik „wznawiania” i możesz go używać, niezależnie od tego, czy korzystasz --partial. W rzeczywistości, gdy korzystasz --append, nigdy nie są tworzone pliki tymczasowe. Pliki są zapisywane bezpośrednio w swoich obiektach docelowych. Pod tym względem --appenddaje taki sam wynik jak --partialw przypadku nieudanego transferu, ale bez tworzenia ukrytych plików tymczasowych.

Podsumowując, jeśli przenosisz duże pliki i chcesz wznowić anulowaną lub nieudaną operację rsync od dokładnego punktu, który został rsynczatrzymany, musisz użyć --appendlub --append-verifywłączyć kolejną próbę.

Jak wskazuje @Alex poniżej, ponieważ wersja 3.0.0 rsyncma teraz nową opcję --append-verify, która zachowuje się tak, --appendjak przed wprowadzeniem tego przełącznika. Prawdopodobnie zawsze chcesz się zachowywać --append-verify, więc sprawdź swoją wersję za pomocą rsync --version. Jeśli jesteś na Macu i nie korzysta rsyncze homebrewbędziesz (przynajmniej włącznie El Capitan) masz starszą wersję i trzeba użyć --appendzamiast --append-verify. Dlaczego nie utrzymywali tego zachowania --appendi zamiast tego nazwali przybysza, --append-no-verifyjest to nieco zagadkowe. Tak czy inaczej, --appendna rsyncwcześniej wersja 3 jest taka sama jak --append-verifyw nowszych wersjach.

--append-verifynie jest niebezpieczne: zawsze będzie czytać i porównywać dane na obu końcach, a nie tylko zakładać, że są równe. Robi to za pomocą sum kontrolnych, więc jest to łatwe w sieci, ale wymaga odczytu udostępnionej ilości danych na obu końcach drutu, zanim będzie mógł faktycznie wznowić przesyłanie przez dołączenie do celu.

Po drugie, powiedziałeś, że „słyszałeś, że rsync jest w stanie znaleźć różnice między źródłem a miejscem docelowym, a zatem po prostu skopiować różnice”.

Zgadza się i nazywa się to transferem delta, ale to inna sprawa. Aby to włączyć, dodaj przełącznik -club --checksum. Po użyciu tego przełącznika rsync sprawdzi pliki, które istnieją na obu końcach drutu. Robi to w kawałkach, porównuje sumy kontrolne na obu końcach, a jeśli się różnią, przenosi tylko różne części pliku. Ale, jak wskazuje @Jonathan poniżej, porównanie jest wykonywane tylko wtedy, gdy pliki mają ten sam rozmiar na obu końcach - różne rozmiary powodują, że rsync prześle cały plik, zastępując cel o tej samej nazwie.

Wymaga to początkowo trochę obliczeń na obu końcach, ale może być niezwykle skuteczne w zmniejszaniu obciążenia sieci, jeśli na przykład często tworzysz kopie zapasowe bardzo dużych plików o stałym rozmiarze, które często zawierają niewielkie zmiany. Przykładami, które przychodzą na myśl, są pliki obrazów wirtualnych dysków twardych używane w maszynach wirtualnych lub obiektach docelowych iSCSI.

Warto zauważyć, że jeśli użyjesz --checksumdo przeniesienia partii plików, które są całkowicie nowe do systemu docelowego, rsync nadal obliczy ich sumy kontrolne w systemie źródłowym przed przesłaniem ich. Dlaczego nie wiem :)

Krótko mówiąc:

Jeśli często za pomocą rsync po prostu „przenieść rzeczy z punktu A do B” i chcą możliwość anulowania tej operacji a potem wznowić go nie używać --checksum, ale nie używać --append-verify.

Jeśli używasz rsync do częstego tworzenia kopii zapasowych, --append-verifyprawdopodobnie nie zrobisz dla ciebie wiele, chyba że masz zwyczaj wysyłania dużych plików, które stale rosną, ale rzadko są modyfikowane po napisaniu. Jako dodatkową wskazówkę, jeśli tworzysz kopię zapasową w pamięci, która obsługuje migawki, takie jak btrfslub zfs, dodanie --inplaceprzełącznika pomoże zmniejszyć rozmiary migawek, ponieważ zmienione pliki nie są odtwarzane, ale zmienione bloki są zapisywane bezpośrednio nad starymi. Ten przełącznik jest także przydatny, jeśli chcesz uniknąć rsync tworzenia kopii plików w systemie docelowym, gdy wystąpiły tylko niewielkie zmiany.

Podczas używania --append-verifyrsync zachowuje się tak samo jak zawsze we wszystkich plikach o tym samym rozmiarze. Jeśli różnią się modyfikacją lub innymi znacznikami czasu, zastąpi cel źródłem bez dalszego sprawdzania tych plików. --checksumporówna zawartość (sumy kontrolne) każdej pary plików o identycznej nazwie i rozmiarze.

ZAKTUALIZOWANO 01.01.2015 Zmieniono, aby odzwierciedlać punkty wykonane przez @Alex (dzięki!)

ZAKTUALIZOWANO 2017-07-14 Zmieniono, aby odzwierciedlać punkty poczynione przez @Jonathan (dzięki!)

TL; DR:

Po prostu określ katalog częściowy, zgodnie z zaleceniami stron podręcznika rsync:

--partial-dir=.rsync-partial

Dłuższe wyjaśnienie:

W rzeczywistości jest wbudowana funkcja umożliwiająca to przy użyciu --partial-diropcji, która ma kilka zalet w porównaniu z / --partiali .--append-verify--append

Fragment stron man rsync:

--partial-dir=DIR
      A  better way to keep partial files than the --partial option is
      to specify a DIR that will be used  to  hold  the  partial  data
      (instead  of  writing  it  out to the destination file).  On the
      next transfer, rsync will use a file found in this dir  as  data
      to  speed  up  the resumption of the transfer and then delete it
      after it has served its purpose.

      Note that if --whole-file is specified (or  implied),  any  par-
      tial-dir  file  that  is  found for a file that is being updated
      will simply be removed (since rsync  is  sending  files  without
      using rsync's delta-transfer algorithm).

      Rsync will create the DIR if it is missing (just the last dir --
      not the whole path).  This makes it easy to use a relative  path
      (such  as  "--partial-dir=.rsync-partial")  to have rsync create
      the partial-directory in the destination file's  directory  when
      needed,  and  then  remove  it  again  when  the partial file is
      deleted.

      If the partial-dir value is not an absolute path, rsync will add
      an  exclude rule at the end of all your existing excludes.  This
      will prevent the sending of any partial-dir files that may exist
      on the sending side, and will also prevent the untimely deletion
      of partial-dir items on the receiving  side.   An  example:  the
      above  --partial-dir  option would add the equivalent of "-f '-p
      .rsync-partial/'" at the end of any other filter rules.

Domyślnie rsync używa losowej nazwy pliku tymczasowego, która jest usuwana w przypadku niepowodzenia transferu. Jak wspomniano, za pomocą polecenia --partialrsync można zachować niekompletny plik tak, jakby został pomyślnie przesłany , aby można było później dołączyć go za pomocą opcji --append-verify/ --append. Jest jednak kilka powodów, dla których nie jest to optymalne.

1. Pliki kopii zapasowej mogą być niekompletne i bez sprawdzenia zdalnego pliku, który musi być niezmieniony, nie ma sposobu, aby się dowiedzieć.

2. Jeśli próbujesz użyć --backupi --backup-dir, właśnie dodałeś nową wersję tego pliku, która nigdy nawet nie wychodziła z historii wersji.

Jeśli jednak użyjemy --partial-dir, rsync zachowa tymczasowy plik częściowy i wznowi pobieranie przy użyciu tego pliku częściowego przy następnym uruchomieniu, a my nie cierpimy z powodu powyższych problemów.

Możesz dodać -Popcję do swojego polecenia.

Ze manstrony:

--partial By default, rsync will delete any partially transferred file if the transfer
         is interrupted. In some circumstances it is more desirable to keep partially
         transferred files. Using the --partial option tells rsync to keep the partial
         file which should make a subsequent transfer of the rest of the file much faster.

  -P     The -P option is equivalent to --partial --progress.   Its  pur-
         pose  is to make it much easier to specify these two options for
         a long transfer that may be interrupted.

Więc zamiast:

sudo rsync -azvv /home/path/folder1/ /home/path/folder2

Zrobić:

sudo rsync -azvvP /home/path/folder1/ /home/path/folder2

Oczywiście, jeśli nie chcesz aktualizacji postępu, możesz po prostu użyć --partial, tj .:

sudo rsync --partial -azvv /home/path/folder1/ /home/path/folder2

Myślę, że siłą dzwonisz rsynci dlatego wszystkie dane są pobierane, gdy je ponownie przywołujesz. użyj --progressopcji, aby skopiować tylko te pliki, które nie zostały skopiowane, i --deleteopcji usunięcia plików, jeśli zostały już skopiowane, a teraz nie istnieje w folderze źródłowym ...

rsync -avz --progress --delete -e  /home/path/folder1/ /home/path/folder2

Jeśli używasz ssh do logowania do innego systemu i kopiowania plików,

rsync -avz --progress --delete -e "ssh -o UserKnownHostsFile=/dev/null -o \
StrictHostKeyChecking=no" /home/path/folder1/ /home/path/folder2

daj mi znać, jeśli mam jakiś błąd w moim rozumieniu tej koncepcji ...

Używam tego prostego skryptu. Dostosuj niektóre flagi i / lub sparametryzuj je.

#!/bin/bash

while [ 1 ]
do
    rsync -avz --partial [source] [dest]:
    if [ "$?" = "0" ] ; then
        echo "rsync completed normally"
        exit
    else
        echo "Rsync failure. Backing off and retrying..."
        sleep 180
    fi
done

Spóźniłem się na to, ale miałem to samo pytanie i znalazłem inną odpowiedź.

--partialFlag ( „keep częściowo przeniesione pliki” w rsync -h) jest przydatne w przypadku dużych plików, co jest --append( „dołączyć dane na krótszych plików”), ale pytanie jest o wiele plików.

Aby uniknąć skopiowania plików, użyj -u(lub --update: „pomiń pliki, które są nowsze w odbiorniku”).