Jak zdekompresować dane zlib w systemie UNIX?

W Pythonie utworzyłem dane skompresowane zlib, w następujący sposób:

import zlib
s = '...'
z = zlib.compress(s)
with open('/tmp/data', 'w') as f:
    f.write(z)

(lub jednowarstwowy w skorupce echo -n '...' | python2 -c 'import sys,zlib; sys.stdout.write(zlib.compress(sys.stdin.read()))' > /tmp/data)

Teraz chcę rozpakować dane w powłoce. Ani zcatnie uncompressdziała:

$ cat /tmp/data | gzip -d -
gzip: stdin: not in gzip format

$ zcat /tmp/data 
gzip: /tmp/data.gz: not in gzip format

$ cat /tmp/data | uncompress -
gzip: stdin: not in gzip format

Wygląda na to, że utworzyłem plik podobny do gzipa, ale bez nagłówków. Niestety nie widzę żadnej opcji rozpakowywania takich surowych danych na stronie podręcznika gzip, a pakiet zlib nie zawiera żadnego narzędzia wykonywalnego.

Czy istnieje narzędzie do rozpakowywania surowych danych zlib?

Można go również zdekompresować za pomocą standardowego skryptu powłoki + gzip , jeśli nie masz lub chcesz użyć openssl lub innych narzędzi.
Sztuką jest dodanie magicznej liczby gzip i metoda kompresji do rzeczywistych danych z zlib.compress:

printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" |cat - /tmp/data |gzip -dc >/tmp/out

Edycje:
@ d0sboots skomentował: W przypadku danych RAW Deflate należy dodać jeszcze 2 bajty puste:
→"\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x00"

To pytanie dotyczące SO zawiera więcej informacji na temat tego podejścia. Odpowiedź sugeruje, że istnieje również 8-bajtowa stopka.

Użytkownicy @ Vitali-Kushner i @ mark-bessey zgłosili sukces nawet przy obciętych plikach, więc stopka gzip nie wydaje się ściśle wymagana.

@ tobias-kienzler zasugerował tę funkcję dla bashrc :
zlipd() (printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" |cat - $@ |gzip -dc)

Użytkownik @tino skomentował odpowiedź OpenSSL, ale myślę, że powinna być osobna:

zlib-flate -uncompress < FILE

Próbowałem tego i zadziałało to dla mnie.

zlib-flatemożna znaleźć w pakiecie qpdf(w Debian Squeeze i Fedorze 23, zgodnie z komentarzami w innych odpowiedziach)

Znalazłem rozwiązanie (jedno z możliwych), używa ono openssl :

$ openssl zlib -d < /tmp/data

lub

$ openssl zlib -d -in /tmp/data

* UWAGA: funkcjonalność zlib jest widocznie dostępna w najnowszych wersjach openssl> = 1.0.0 (OpenSSL musi być skonfigurowany / zbudowany z opcją zlib lub zlib-dynamic, ta ostatnia jest domyślna)

Polecam pigza od Marka Adlera , współautora biblioteki kompresji zlib. Wykonaj, pigzaby zobaczyć dostępne flagi.

Zauważysz:

-z --zlib Compress to zlib (.zz) instead of gzip format.

Możesz rozpakować za pomocą -dflagi:

-d --decompress --uncompress Decompress the compressed input.

Zakładając plik o nazwie „test”:

• pigz -z test - tworzy skompresowany plik zlib o nazwie test.zz
• pigz -d -z test.zz - konwertuje test.zz w zdekompresowany plik testowy

W OSX można wykonać brew install pigz

zlibimplementuje kompresję używaną przez gzip, ale nie format pliku. Zamiast tego powinieneś użyć gzipmodułu , który sam używa zlib.

import gzip
s = '...'
with gzip.open('/tmp/data', 'w') as f:
    f.write(s)

Może to zrobić:

import glob
import zlib
import sys

for filename in sys.argv:
    with open(filename, 'rb') as compressed:
        with open(filename + '-decompressed', 'wb') as expanded:
            data = zlib.decompress(compressed.read())
            expanded.write(data)

Następnie uruchom go w następujący sposób:

$ python expander.py data/*

Przykładowy program zpipe.c znaleziony tutaj przez samego Marka Adlera (pochodzi ze źródłowej dystrybucji biblioteki zlib) jest bardzo przydatny w tych scenariuszach z surowymi danymi zlib. Skompilować cc -o zpipe zpipe.c -lzi dekompresji: zpipe -d < raw.zlib > decompressed. Może także wykonywać kompresję bez -dflagi.

Na macOS, który jest w pełni zgodny z POSIX-em UNIX (formalnie certyfikowany!), Nie OpenSSLma zlibwsparcia, nie ma żadnego z zlib-flatenich, a podczas gdy pierwsze rozwiązanie działa tak samo jak wszystkie rozwiązania Python, pierwsze rozwiązanie wymaga, aby dane ZIP znajdowały się w pliku a wszystkie inne rozwiązania zmuszają cię do stworzenia skryptu Python.

Oto rozwiązanie oparte na Perlu, które może być użyte jako jedno-liniowy wiersz poleceń, pobiera dane wejściowe za pośrednictwem potoku STDIN i działa od razu po zainstalowaniu systemu macOS:

cat file.compressed | perl -e 'use Compress::Raw::Zlib;my $d=new Compress::Raw::Zlib::Inflate();my $o;undef $/;$d->inflate(<>,$o);print $o;'

Bardziej sformatowany skrypt Perla wygląda następująco:

use Compress::Raw::Zlib;
my $decompressor = new Compress::Raw::Zlib::Inflate();
my $output;
undef $/;
$decompressor->inflate(<>, $output);
print $output;

Możesz użyć tego do kompresji za pomocą zlib:

openssl enc -z -none -e < /file/to/deflate

I to do spuszczenia:

openssl enc -z -none -d < /file/to/deflate

zcat -f infile > outfile 

działa dla mnie na fedora25