Czy rsync --inplace zapisuje w całym pliku, czy tylko w częściach wymagających aktualizacji? (dla kopii zapasowych btrfs + rsync)

Czytałem kilka przewodników, jak połączyć migawki btrfs z rsync, aby stworzyć wydajne rozwiązanie do tworzenia kopii zapasowych z historią. Wszystko zależy jednak rsync --inplaceod tego, czy zmodyfikuje tylko te fragmenty plików, które faktycznie się zmieniły, czy też nadpisuje cały plik sekwencyjnie. Jeśli zapisuje cały plik, wydaje się, że btrfs zawsze utworzy nową kopię pliku, co znacznie zmniejszy wydajność tego pomysłu.

Jeśli przekażesz rsync dwie ścieżki lokalne, domyślnie użyje „--hole-file”, a nie przeniesienia delta. To, czego szukasz, to „--no-cały plik”. Otrzymasz również transfer delta, jeśli poprosiłeś o „-c”.

Oto jak możesz zweryfikować:

$ mkdir a b
$ dd if=/dev/zero of=a/1 bs=1k count=64
$ dd if=/dev/zero of=a/2 bs=1k count=64
$ dd if=/dev/zero of=a/3 bs=1k count=64
$ rsync -av a/ b/
sending incremental file list
./
1
2
3

sent 196831 bytes  received 72 bytes  393806.00 bytes/sec
total size is 196608  speedup is 1.00

Następnie dotknij pliku i ponownie zsynchronizuj

$ touch a/1
$ rsync -av --inplace a/ b/
sending incremental file list
1

sent 65662 bytes  received 31 bytes  131386.00 bytes/sec
total size is 196608  speedup is 2.99

Możesz sprawdzić, czy ponownie użył i-węzła z „ls -li”, ale zauważ, że wysłał całe 64 KB. Spróbuj ponownie z --no-cały plik

$ touch a/1
$ rsync -av --inplace --no-whole-file a/ b/
sending incremental file list
1

sent 494 bytes  received 595 bytes  2178.00 bytes/sec
total size is 196608  speedup is 180.54

Teraz wysłałeś tylko 494 bajty. Możesz użyć strace do dalszej weryfikacji, czy któryś z plików został zapisany, ale pokazuje to przynajmniej użycie transferu delta.

Uwaga (patrz komentarze), że dla lokalnych systemów plików, --whole-filezakłada się (zobacz stronę podręcznika rsync). Z drugiej strony --no-whole-filezakłada się, że przez sieć , więc --inplacesama będzie się zachowywać jak --inplace --no-whole-file.

Oto pewna ostateczna odpowiedź, podając poprawną część instrukcji:

   --inplace

          [...]

          This option is useful for transferring large files
          with  block-based  changes  or  appended data, and
          also on systems that are disk bound,  not  network
          bound.   It  can  also  help  keep a copy-on-write
                                               *************
          filesystem snapshot from diverging the entire con‐
          *******************
          tents of a file that only has minor changes.

--inplacezastępuje tylko zmienione regiony. Zawsze używaj go podczas pisania na Btrfs.

Algorytm transferu delta rsync zajmuje się tym, czy przesyłany jest cały plik, czy tylko różne części. Jest to domyślne zachowanie podczas synchronizacji pliku między dwoma komputerami w celu zaoszczędzenia przepustowości. Można to zastąpić przyciskiem --whole-file(lub -W), aby wymusić rsyncprzesłanie całego pliku.

--inplacezajmuje się tym, czy rsyncpodczas przesyłania utworzy plik tymczasowy, czy nie. Domyślnym zachowaniem jest utworzenie pliku tymczasowego. Daje to pewien poziom bezpieczeństwa, ponieważ w przypadku przerwania przesyłania istniejący plik na komputerze docelowym pozostaje nienaruszony / nietknięty. --inplacezastępuje to zachowanie i nakazuje rsyncbezpośrednią aktualizację istniejącego pliku. Dzięki temu istnieje ryzyko, że plik na komputerze docelowym będzie niespójny, jeśli transfer zostanie przerwany.

Ze strony podręcznika:

This  option  changes  how  rsync transfers a file when its data
needs to be updated: instead of the default method of creating a
new  copy  of  the file and moving it into place when it is com-
plete, rsync instead writes the updated  data  directly  to  the
destination file.

To prowadzi mnie do przekonania, że ​​zapisuje on plik w całości - wyobrażam sobie, że rsync działałby w inny sposób.

Teoretyczna praca na miejscu rsync jest opisana w tym artykule .

Odniesienie do papieru: D. Rasch i R. Burns. In-Place Rsync: Synchronizacja plików dla urządzeń mobilnych i bezprzewodowych. Doroczna konferencja techniczna USENIX, tor FREENIX, 91-100, USENIX, 2003.

Z linku:

... Zmodyfikowaliśmy istniejącą implementację rsync w celu obsługi rekonstrukcji w miejscu.

Streszczenie: [...] Zmodyfikowaliśmy rsync, aby działał na urządzeniach o ograniczonej przestrzeni. Pliki na hoście docelowym są aktualizowane w tym samym magazynie, w którym znajduje się bieżąca wersja pliku. Urządzenia o ograniczonej przestrzeni nie mogą używać tradycyjnego rsync, ponieważ wymaga pamięci lub pamięci zarówno dla starej, jak i nowej wersji pliku. Przykłady obejmują synchronizację plików w telefonach komórkowych i komputerach przenośnych, które mają małe wspomnienia. Algorytm rsync w miejscu koduje skompresowaną reprezentację pliku na wykresie, który jest następnie sortowany topologicznie w celu uzyskania właściwości in-place. [...]

Wygląda to na szczegóły techniczne tego, co robi rsync --inplace. Według początku pracy:

Zmodyfikowaliśmy rsync, aby wykonywał zadania synchronizacji plików z rekonstrukcją na miejscu. [...] Zamiast używać przestrzeni tymczasowej, zmiany w pliku docelowym mają miejsce w przestrzeni już zajmowanej przez bieżącą wersję. Tego narzędzia można użyć do synchronizacji urządzeń o ograniczonej przestrzeni.

Jak wynika z odpowiedzi @ bez danych , oznacza to, że --inplaceużywa tej samej przestrzeni dyskowej, ale może nadal kopiować cały plik do tej przestrzeni. W szczególności, gdy kopie są tworzone z / do lokalnych systemów plików, rsync zakłada tę --whole-fileopcję. Z drugiej strony, gdy znajduje się w systemach sieciowych, przyjmuje taką --no-whole-fileopcję.