Problemy z pamięcią podczas kompresji i przesyłania dużej liczby małych plików (łącznie 1 TB)

Mam 5 milionów plików, które zajmują około 1 TB przestrzeni dyskowej. Muszę przenieść te pliki na stronę trzecią.

Jak najlepiej to zrobić? Próbowałem zmniejszyć rozmiar pliku .tar.gz, ale mimo że mój komputer ma 8 GB pamięci RAM, pojawia się błąd „brak pamięci systemowej”.

Czy najlepszym rozwiązaniem jest przesłanie plików pocztą elektroniczną?

Dodatkowe informacje podane w komentarzach ujawniają, że OP używa metody GUI do utworzenia .tar.gzpliku.

Oprogramowanie GUI często zawiera znacznie więcej wzdęć niż równoważne równoważne oprogramowanie wiersza poleceń lub wykonuje dodatkowe niepotrzebne zadania ze względu na pewne „dodatkowe” funkcje, takie jak pasek postępu. Nie zaskoczyłoby mnie, gdyby oprogramowanie GUI próbowało zebrać listę wszystkich nazw plików w pamięci. Nie trzeba tego robić, aby utworzyć archiwum. Dedykowane narzędzia tari z gzippewnością zostały zaprojektowane do pracy ze strumieniowym wejściem i wyjściem, co oznacza, że ​​mogą poradzić sobie z wejściami i wyjściami znacznie większymi niż pamięć.

Jeśli unikniesz programu GUI, najprawdopodobniej możesz wygenerować to archiwum przy użyciu zupełnie normalnego codziennego tarwywołania, takiego jak to:

tar czf foo.tar.gz foo

gdzie foojest katalog zawierający wszystkie 5 milionów plików.

Inne odpowiedzi na to pytanie dają kilka dodatkowych alternatywnych tarpoleceń do wypróbowania na wypadek, gdybyś chciał podzielić wynik na wiele części itp.

„pięć milionów” plików i łącznie 1 TB? Twoje pliki muszą więc być bardzo małe. Po prostu spróbuję rsync:

rsync -alPEmivvz /source/dir remote.host.tld:/base/dir

Jeśli tego nie masz - lub twoja skrzynka nie pozwala na użycie rsync, sprawdziłbym przynajmniej, czy 7zdziała z twoimi danymi. Może nie, ale myślę, że nadal warto spróbować:

7z a archive.7z /source/dir

Lub jeśli nie czujesz się komfortowo, 7zprzynajmniej spróbuj utworzyć .tar.xzarchiwum:

tar cJv archive.tar.xz /source/dir

(należy zauważyć, że starsze wersje tarnie tworzą .tar.xzarchiwów, ale .tar.lzmaarchiwa podczas korzystania z Jprzełącznika. Nawet starsze wersje tarnie obsługują Jflagi całkowicie).

Ponieważ używasz programu GUI do tworzenia tych plików, zakładam, że czujesz się trochę nieswojo przy użyciu interfejsu wiersza poleceń.

Aby ułatwić tworzenie, zarządzanie i wyodrębnianie archiwów z interfejsu wiersza poleceń, istnieje małe narzędzie o nazwie atool. Jest dostępny dla praktycznie każdej popularnej dystrybucji, którą widziałem, i działa prawie na każde archiwum, na które natknąłem się, chyba że te beznadziejnie niejasne.

Sprawdź, czy Twoja dystrybucja ma atoolswoje repozytorium, lub poproś administratora, aby zainstalował ją, gdy jest w środowisku pracy.

atool instaluje do siebie kilka dowiązań symbolicznych, więc pakowanie i rozpakowywanie staje się dziecinnie proste:

apack archive.tar.xz <files and/or directories>

Tworzy archiwum.

aunpack archive.7z

Rozszerza archiwum.

als archive.rar

Wyświetla zawartość pliku.

Jaki rodzaj archiwum jest tworzony, atoolrozpoznaje to po rozszerzeniu nazwy pliku archiwum w wierszu polecenia.

O ile nie można wykonać kompresji lepszej niż 25: 1, prawdopodobnie nie zyska się na kompresji przed przesłaniem ślimaka, chyba że istnieje jakiś sprzętowy format taśmy, który można wymienić na stronie trzeciej.

Największym wspólnym miejscem do przechowywania jest Blue Ray, który z grubsza da ci 40 Gb. Będziesz potrzebował kompresji 25 do 1 danych, aby dopasować się do tego. Jeśli Twoja strona trzecia ma tylko DVD, potrzebujesz 125: 1 (z grubsza).

Jeśli nie możesz dopasować tych numerów kompresji, po prostu użyj zwykłego dysku, skopiuj go i wyślij pocztą elektroniczną do innej firmy. W takim przypadku wysyłanie czegoś mniejszego niż dysk 1 TB, który wymagałby kompresji, jest szaleństwem.

Musisz tylko porównać to z użyciem ssh -C(kompresja standardowa) lub najlepiej rsyncz kompresją do kopiowania plików przez sieć, bez konieczności kompresji i tarowania z góry. 1 TB nie jest niemożliwe, aby przejść przez sieć, ale zajmie to trochę czasu.

Czy rozważałeś torrent? Peer-to-Peer może być najlepszą opcją dla transferu przez Internet:

• Przynajmniej tak szybko, jak inne transfery internetowe: prędkość wysyłania określa szybkość przesyłania
• Brak uszkodzenia danych
• Wybierz, które pliki najpierw przesłać
• Nie jest potrzebne dodatkowe miejsce do przechowywania w chmurze lokalnej
• Darmowy

Nie powiedziałeś, jakiego systemu operacyjnego używasz, ale kiedy mówisz o kompresji tar.gz, założę się, że używasz systemu operacyjnego typu GNU / Linux. W tym celu zasugeruję transmisję . Jest to oprogramowanie torrentowe typu open source działające na komputerach Mac i Linux. Podoba mi się, ponieważ programiści starają się, aby był natywny dla wszystkich obsługiwanych klientów GUI: brak języka międzyplatformowego.

Możesz połączyć tę metodę z kompresją, ale stracisz możliwość ustalania priorytetów części transferu.

7z będzie moim wyborem. Umożliwia automatyczne dzielenie archiwów i obsługuje kompresję wielowątkową. Nie, xznie, pomimo tego, co mówi komunikat pomocy. Spróbuj z:

7za a -v100m -m0=lzma2 -mx=9 -ms=on -mmt=$THREADS archive.7z directory/

Wyjście jest podzielone na 100 MB bloków (zmień to -vprzełącznikiem).

Jedynym minusem jest to, że 7z nie zachowuje metadanych uniksowych (np. Uprawnień i właściciela). Jeśli trzeba, że rury tarwyjścia do 7zazamiast (patrz man 7zakilka przykładów).

Kliknąłem folder prawym przyciskiem myszy, kliknąłem „Utwórz archiwum” i wybrałem opcję .tar.gz. Struktura katalogów jest głęboka, ponad 500 000 katalogów

Tak, powodzenia w pakowaniu. Narzędzie GUI spróbuje to zrobić na tym samym woluminie, co oznacza, że ​​a) potrzebujesz jeszcze 1 TB wolnego miejsca ib) przewrotne czytanie jednego pliku i dołączanie go do archiwum nie będzie zbyt zdrowe dla dysku.

Widzę dwie możliwości:

1) rsync z komputera na stronę trzecią. Jeden lub drugi będzie potrzebował globalnego adresu IP, który nie zmienia się często. Ogromna zaleta rsync jest jeśli masz przerwany z jakiegokolwiek powodu, można go odebrać w którym zostało przerwane. Kopiowanie tarballa 1 TB albo zakończy się sukcesem, albo niepowodzeniem

2) kup dysk zewnętrzny o pojemności 1 TB, skopiuj na niego pliki i dostarcz dysk. Duże opóźnienia, ale naprawdę dobra przepustowość, gdy przybywa. Różne usługi tworzenia kopii zapasowych online tego do początkowej kopii zapasowej.

Proponuję użyć czegoś takiego:

tar -c -L 104857600 -f file1.tar -f file2.tar -f file3.tar -f file4.tar -f file5.tar -f file6.tar -f file7.tar -f file8.tar -f file9.tar -f file10.tar 
gzip file*.tar

który utworzy 10 plików o maksymalnej wielkości 100 GB. Ale to nie rozwiązałoby problemu z „OOM”, ponieważ tar ma przesyłać strumieniowo swoje dane do odczytu / zapisu, więc wąskie gardło jest oczywiście gzip.

Co ty na to:

find /path | tar -T - -czf - | ssh remotehost "cd /target/dir/; tar xzf -"

• find przeszukuje listę drzewa katalogów
• tar -T - czyta listę ze standardowego wejścia
• -czf -tworzy archiwum i zapisuje na standardowe wyjście, zzgzipuje strumień
• ssh remotehost zaloguj się do zdalnego hosta za pomocą ssh
• cd /target/dir/ przejdź do katalogu docelowego
• tar xzf - wyodrębnij strumień przychodzący ze standardowego wejścia

Dzięki fexsend możesz przesyłać pliki o dowolnej liczbie i rozmiarze do dowolnego odbiorcy w locie, patrz:

http://fex.rus.uni-stuttgart.de:8080/usecases/downunder.html

Oczywiście potrzebujesz serwera F * EX, ale jest bezpłatny:

http://fex.rus.uni-stuttgart.de:8080/