Najszybszy sposób na wyodrębnienie tar.gz

Czy w ogóle istnieje możliwość szybszego wyodrębnienia pliku tar.gz tar -zxvf filenamehere?

Mamy duże pliki i staramy się zoptymalizować operację.

linux tar gzip

— Justin
źródło

Czy odkrywasz, że $ tar -zxvfmetoda jest związana z IO lub CPU?

— EEAA

Uwierz CPU, ale jak mogę to sprawdzić?

— Justin

Nie jest bezpośrednio powiązane, ale „z” nie jest wymagane od 2004 / tar v1.1.5 gnu.org/software/tar/#TOCreleases :)

— JamesHannah

Odpowiedzi:

pigz to równoległa wersja gzip. Chociaż używa tylko jednego wątku do dekompresji, uruchamia 3 dodatkowe wątki do czytania, pisania i sprawdzania obliczeń. Twoje wyniki mogą się różnić, ale zauważyliśmy znaczną poprawę dekompresji niektórych naszych zestawów danych. Po zainstalowaniu pigz plik tar można wyodrębnić za pomocą:

pigz -dc target.tar.gz | tar xf -

— TimS
źródło

+1. FWIW, możesz również napisać to jako tar -xvf --use-compress-program=pigz filenamehere. ( -zwynosi --use-compress-program=gzip.) Alternatywnie możesz nawet stworzyć gzipsymboliczne łącze do pigzi używać go dalej -zxvf.

— ruakh

@ruakh, musiałem wstawić -xfpóźniej --use-compress-program=pigz, albo dostałem błąd. Z jakiegoś powodu nie było to jednak szybsze niż używanie gzip.

— poniedziałek,

Ponieważ bzip2jest pbzip2( pdla równoległych). tar --use-compress-program=pbzip2 -xvf file.tar.bz2.

— alfC

Czy istnieje sposób użycia pvpolecenia, aby pokazać postęp, lub ekwiwalent, jednocześnie używając --use-compress-program=pigzflagi? Podczas kompresji mogę to zrobić gnutar --use-compress-program="pigz | pv" -cf target.tar.gz YourData, ale nie jestem pewien, jak to zrobić podczas rozpakowywania / rozpakowywania.

— Stefan Lasiewski

jeśli w tarce znajduje się wiele, wiele małych plików, anuluj parametr „v”, spróbuj ponownie!

— anonimowy
źródło

Nigdy nie używam -v param. Nie wiem, dlaczego ludzie potrzebują tak dużo hałasu na konsoli.

— Eimantas

@Eimantas Kiedy rozpakowujesz coś, co zawiera wiele plików wielogigabajtowych, będziesz potrzebować pewnych wskazówek dotyczących postępu. :)

— Michael Hampton

@ TimHughes: to naprawdę wspaniale wiedzieć, proszę pisać jako osobną odpowiedź!

— smci

Michael Hampton, jeśli masz pliki wielogigabajtowe, ale zmieszane z dużymi listami małych plików, masz dobry powód, aby nie używać -v, w moich lokalnych testach powoduje, że tar działa bardzo wolno, szczególnie jeśli masz tar działający na zdalnym serwerze przez terminal, co robię, to oglądać katalog du -s, dzięki czemu mogę obserwować, jak rośnie katalog ...

— Luciano Andress Martini

Warto użyć --checkpoint=NUMBER( wyświetlaj komunikaty postępu co NUMBER-ty rekord ) zamiast -v.

— Stefan Lasiewski

Jeśli chcesz zobaczyć postęp, użyj czegoś takiego pv. Oto przykład:

pigz -dc mysql-binary-backup.tar.gz | pv | tar xf -

— Tim Hughes
źródło