Jaki jest najlepszy sposób domyślnego używania równoległego bzip2 i gzip?

41

Bzip2 i gzip używają tylko jednego rdzenia, chociaż wiele komputerów ma więcej niż jeden rdzeń. Są jednak programy takie jak lbzip2, pbzip2 i pigz, które używają wszystkich dostępnych rdzeni i obiecują być kompatybilne z bzip2 i gzip.

Więc jaki jest najlepszy sposób domyślnego korzystania z tych programów, aby tar cfa file.tar.bz2 directoryużywał lbzip2 / pbzip2 zamiast bzip2? Oczywiście, że nie chcę niczego łamać.

tar gzip bzip2

— Elmicha
źródło

2

Z ciekawości dla wszystkich: Czy równoległy gzip / bzip jest naprawdę szybszy niż serial? Wyobrażam sobie, że szybkość zapisu na dysku twardym i inne ograniczenia są większym problemem.

— con-f-use

@ con-f-use Nie, chyba że teoretycznie masz dyski SSD, może to być szybsze wraz ze wzrostem całkowitego rozmiaru archiwum.

— Marco Ceppi

1

W systemie z 16 procesorami, przejście z gzip na pigz skróciło czas do tarowania 1.2 TB i przesłano go przez sieć i przetestowano wynik z 18 godzin kopii zapasowej i 14 godzin testu do 4 godzin kopii zapasowej i 2 godzin testu. Istnieje wiele potencjalnych wąskich gardeł, szybkość dysku, prędkość sieci, moc przetwarzania, jednak w tym przypadku było to zdecydowanie związane z procesorem bardziej niż z IO. Jest to wysokiej klasy system, Twoje wyniki mogą się różnić. Nie ma to znaczenia, ale miało to miejsce na RHEL6

— cs_alumnus

32

Możesz symlinkować bzip2, bunzip2 i bzcat do lbzip2, a gzip, gunzip, gzcat i zcat do pigz:

sudo apt-get install lbzip2 pigz
cd /usr/local/bin
ln -s /usr/bin/lbzip2 bzip2
ln -s /usr/bin/lbzip2 bunzip2
ln -s /usr/bin/lbzip2 bzcat
ln -s /usr/bin/pigz gzip
ln -s /usr/bin/pigz gunzip
ln -s /usr/bin/pigz gzcat
ln -s /usr/bin/pigz zcat

Wybrałem lbzip2 zamiast pbzip2, ponieważ /usr/share/doc/lbzip2/README.gz wygląda „ładniej” niż /usr/share/doc/pbzip2/README.gz. Również instrukcja tar mówi o lbzip2 .

Edytować:

pigz-2.1.6, który jest zawarty w Precise Pangolin, odmawia dekompresji plików z nieznanymi przyrostkami (np. initramfs - *. img). Zostało to naprawione w pigz-2.2.4, który jest dostarczany z Quantal. Możesz więc poczekać, aż Quantal, ręcznie zainstalować pakiet Quantal lub jeszcze nie linkować gunzip / gzcat / zcat.

— Elmicha
źródło

7

Działa to dobrze, ponieważ / usr / local / bin / występuje przed / bin / w $ PATH większości ludzi. Jeśli coś wywołuje / bin / gunzip bezpośrednio lub ktoś ma / bin jako pierwszy w swojej zmiennej $ PATH, nie użyje pigz. Aby to działało również dla nich, możesz użyć dpk-divert i zrobić coś takiego dla wszystkich plików binarnych, sudo dpkg-divert --divert /bin/gunzip.orig --rename /bin/gunzip; sudo ln -s /usr/bin/pigz /bin/gunzipale istnieje możliwość, że pigz nie jest w 100% kompatybilny ze wszystkimi flagami gzip, więc bądź ostrożny.

— Mark McKinstry

31

Idea dowiązania symbolicznego jest naprawdę w porządku.
Innym działającym rozwiązaniem jest alias tar:

alias tar='tar --use-compress-program=pbzip2'

lub odpowiednio

alias tar='tar --use-compress-program=pigz'

Tworzy inny rodzaj domyślnych.

— Bastian Ebeling
źródło

dodatkowa korzyść: możesz użyć aliasu typu „partar”, jeśli chcesz zachować oryginalną funkcjonalność (z jakiegoś powodu) .. niestety „ptar” jest pobierany przez implementację perla

— jena

13

Odpowiedź dowiązania symbolicznego jest naprawdę niepoprawna. Zastąpiłby domyślny gzip (lub bzip2) na pigz (lub pbzip2) dla całego systemu. Podczas gdy równoległe implementacje są niezwykle podobne do wersji z pojedynczym procesem, subtelne różnice w opcjach wiersza poleceń mogą złamać podstawowe procesy systemowe, które zależą od tych różnic.

Opcja „--use-compress-program” jest znacznie lepszym wyborem. Drugą opcją (podobnie jak alias) byłoby ustawienie zmiennej środowiskowej TAR_OPTIONS obsługiwanej przez GNU tar:

$ export TAR_OPTIONS = "- use-compress-program = pbzip2"
$ tar czf myfile.tar.bz2 mysubdir /

— użytkownik154053
źródło

6

Używam dowiązań symbolicznych od 2011 roku i nie widziałem żadnego zerwania (poza przypadkiem wspomnianym w edycji). A jeśli takie subtelne różnice nie zostaną znalezione i zgłoszone, na zawsze utkniemy w nierównoległych wersjach. Jeśli użyjesz TAR_OPTIONS = "- use-compress-program = pbzip2", nie wydaje się, abyś mógł odróżnić bzip2 od gzip.

— elmicha

To mi nie zadziałało.

— Derek Perkins,

3

Jedną z fascynujących opcji jest ponowna kompilacja tar, aby domyślnie używać wielowątkowości. Skopiowano z tej odpowiedzi przepełnienia stosu

Ponowna kompilacja z wymianą

Jeśli budujesz tar ze źródeł, możesz ponownie skompilować z parametrami

--with-gzip=pigz
--with-bzip2=lbzip2
--with-lzip=plzip

Po ponownej kompilacji tar za pomocą tych opcji możesz sprawdzić dane wyjściowe pomocy tar:

$ tar --help | grep "lbzip2\|plzip\|pigz"
  -j, --bzip2                filter the archive through lbzip2
      --lzip                 filter the archive through plzip
  -z, --gzip, --gunzip, --ungzip   filter the archive through pigz

— Tom Koch
źródło

-2

Użyj w ~ / .bash_aliases:

alias gzip="pigz"
alias gunzip="unpigz"

— bar foo
źródło

1

Działa to tylko podczas wywoływania programu gzip(lub gunzip) bezpośrednio z wiersza poleceń powłoki. tarNie wpłynie to na inne programy (takie jak ).

— Christian Hudon