Jak wykonać kopię zapasową jednego dużego pliku z małymi zmianami?

9

Jeśli zestaw plików (po kilka GB każdy) i każdy zmienia się nieznacznie każdego dnia (w losowych miejscach, nie tylko informacje dołączane na końcu), jak można je skutecznie skopiować? Mam na myśli w tym sensie, że tylko zmienione części są aktualizowane, a nie całe pliki. Oznaczałoby to różnicę między kopiowaniem niektórych Kb tu i tam lub niektórych GB.

backup

— Quora Feans
źródło

Różnica binarna? Myślę, że to jest coś, ale nie sądzę diff, że to zrobi

— kot

@cat: diffmoże być w stanie zgłosić różnice, ale tutaj problemem jest skopiowanie małych różnic.

— Quora Feans

Cóż, myślałem, że po prostu skopiuj różnice - rsynclepiej

— cat

1

W usterce serwera: Jaki program ma być używany do przyrostowej kopii zapasowej dużego pojedynczego pliku (2011-01-07) oraz w przypadku przepełnienia stosu: Pojedynczy plik (archiwum) RSync, który zmienia się za każdym razem (2011-03-04).

— Graham Perrin

25

Program rsync właśnie to robi. Ze strony podręcznika:

Słynie z algorytmu transferu delta, który zmniejsza ilość danych przesyłanych przez sieć, wysyłając tylko różnice między plikami źródłowymi a istniejącymi plikami w miejscu docelowym. Rsync jest szeroko stosowany do tworzenia kopii zapasowych i kopii lustrzanych oraz jako ulepszone polecenie kopiowania do codziennego użytku.

— hlovdal
źródło

W rzeczywistości rsync faktycznie działa podczas pisania tej odpowiedzi, tworząc kopię zapasową wszystkiego na tym komputerze na moim serwerze plików (z ZFS).

— hlovdal

Do celów tworzenia kopii zapasowych chciałbym polecić rdiff-backup ( nongnu.org/rdiff-backup ). Używam go do tworzenia kopii zapasowych czterech różnych maszyn, od kilku lat, z dobrymi wynikami.

— Thomas Padron-McCarthy

Wikipedia ma dobre wyjaśnienie, w jaki sposób rsyncporównuje fragmenty plików za pomocą ruchomych sum kontrolnych.

— Adam Katz,

Próbowałem rsync, aby „przywrócić” stary obraz dysku twardego VM, na którym zmieniono tylko kilka plików w środku, niestety rsync wydaje się ponownie kopiować cały plik (zajmuje około 3 minut, zapisując ~ 300 MB / s)? rsync -av --progress --partial --inplace arch-test1.qcow2.bak arch-test1.qcow2

— feedc0de,

8

Prawdopodobnie potrzebujesz nowoczesnego programu do tworzenia kopii zapasowych. Sprawdź BorgBackup .

Spowoduje to utworzenie wielu kopii zapasowych każdej wersji dużego pliku, ale będzie współużytkować wspólną zawartość między różnymi wersjami, więc całkowite miejsce wykorzystane dla danej wersji dużego pliku będzie tylko nieznacznie większe niż łączne miejsce na dysku dla pojedynczej wersji wersja, przy założeniu, że różne wersje różnią się tylko nieznacznie.

— Faheem Mitha
źródło

5

Jeśli jesteś w jakikolwiek sposób ograniczony przez IO, użyj systemu plików takiego jak BTRFS lub ZFS, który bezpośrednio obsługuje przyrostowe kopie zapasowe bez konieczności znajdowania różnic w plikach, takich jak to, rsyncco trzeba zrobić.

Używanie rsyncbędzie powolne i bardzo intensywne we / wy.

Ponieważ jeśli jakakolwiek aplikacja zapisuje zmiany w plikach, jest w jakikolwiek sposób ograniczona przez IO, użycie rsyncspowoduje odebranie znacznych cykli We / Wy od aplikacji, to właśnie dlatego pliki istnieją. A jeśli proces tworzenia kopii zapasowej lub system jest ograniczony rsyncdo operacji we / wy, zabierze cykle we / wy od dostępnej przepustowości.

Tylko Google „rsync jest wolny”. Na przykład: rsync działa bardzo wolno (współczynnik 8 do 10) w porównaniu do cp podczas kopiowania plików z udziału nfs do lokalnego katalogu

— Andrew Henle
źródło

Ma to dodatkową zaletę polegającą na zachowaniu wszystkich metadanych bez konieczności ich sprawdzania i zawsze wiedząc, że kopia zapasowa jest tak dobra, jak kopia oryginalna. rsync nadaje się do ogólnego użytku, ale jeśli masz nowoczesny system plików, głupotą byłoby ignorowanie jego zalet.

— user121391,