Czy można skompresować bardzo duży plik (~ 30 GB) za pomocą gzip? Jeśli tak, jakich poleceń, przełączników i opcji należy użyć?
A może istnieje inny program (najlepiej taki powszechnie dostępny w dystrybucjach Ubuntu), którego można użyć do kompresji / skompresowania bardzo dużych plików? Czy masz z tym jakieś doświadczenie?
Odpowiedzi:
AFAIK nie ma limitu rozmiaru gzip- przynajmniej nie 30 GB. Oczywiście potrzebujesz miejsca na spakowany plik na dysku, obie wersje będą tam jednocześnie podczas kompresji.
bzip2 kompresuje pliki (nie tylko duże :-) lepiej, ale jest (czasem dużo) wolniejsze.
pbzipteż - wykorzysta więcej niż jeden rdzeń procesora. Ale wciąż o wiele wolniej niż gzip.
pbzip2
jeśli potrzebujesz dobrego współczynnika kompresji, możesz wypróbować lzma. jest szybszy i bardziej wydajny niż bzip2 i może być szybszy nawet niż gzip (nie wiem tego na pewno)
http://www.thegeekstuff.com/2010/06/lzma-better-compression-than-bzip2-on-unix-linux/
lzmajest przestarzałe na korzyść xzteraz. Ten sam algorytm, nieco inny (ulepszony?) Format pliku wokół niego. LZMA jest wolniejszy niż gzip, ale przy maksymalnej prędkości nadal jest dość dobrą kompresją na bardzo redundantnych rzeczach, takich jak dane JSON. ( xz -0)
Format gzip reprezentuje rozmiar wejściowy modulo 2 ^ 32, więc
--listopcja zgłasza niepoprawne rozmiary nieskompresowane i współczynniki kompresji dla nieskompresowanych plików 4 GB i większych.
Więc weź bzip2(wersja 1.0.2 i wyższe) lub xz.
XZ ustawiony na najniższą kompresję może pobić gzip pod względem szybkości i kompresji.
pxz -9ve - <in >out.xzi upiekasz kurczaka na komputerze, ale wynik będzie wynosił około 60% wyniku gzip. Potrzebujesz do tego około 7 GB.