pv (pasek postępu) i gzip

Dlaczego to nie jest możliwe?

pv ${dest_file} | gzip -1

pv to pasek postępu

błąd

gzip: compressed data not written to a terminal. Use -f to force compression.
For help, type: gzip -h
   0 B 0:00:00 [   0 B/s] [>                                   ]  0%

To działa

pv ${file_in} | tar -Jxf - -C /outdir

command-line gzip

— clarkk
źródło

Co próbujesz osiągnąć? Czy czytałeś dokumenty pvi gzippolecenia?

— Jakuje

Odpowiedzi:

To, co próbujesz osiągnąć, to zobaczyć pasek postępu procesu kompresji. Ale nie jest możliwe użycie pv. Pokazuje tylko postęp transferu, który można osiągnąć przez coś takiego (w każdym razie jest to pierwszy link w Google):

pv input_file | gzip > compressed_file

Pasek postępu będzie działał szybko, a następnie będzie czekał na kompresję, której nie można już zaobserwować pv.

Ale możesz to zrobić w drugą stronę i obejrzeć strumień wyjściowy, tutaj nie zobaczysz rzeczywistego postępu, ponieważ pvnie znasz rzeczywistego rozmiaru skompresowanego pliku:

gzip input_file | pv > compressed_file

Najlepsze, jakie do tej pory znalazłem, to ten z linii poleceń, nawet z ograniczaniem szybkości i kompresją katalogów:

$D=directory
tar pcf - $D | pv -s $(du -sb $D | awk '{print $1}') --rate-limit 500k | gzip > target.tar.gz

— Jakuje
źródło

pasek postępu nie działa zgzip input_file | pv > compressed_file

— clarkk

tak jest, ale nie zna całego rozmiaru skompresowanego pliku, więc po prostu skanuje z boku na bok. Pierwszy jest prawdopodobnie lepszy.

— Jakuje

Pasek postępu nie działa dla mnie szybko.

— Mikezter,

gzip -cwymagane jest, aby wysłać dane wyjściowe do stdout aby mogła ona zostać przekazane pv, w przeciwnym razie pasek postępu nie będzie działać, ponieważ nie ma danych zamiar pv :)

— David Gardner

Dzięki za wskazówkę! Możesz to również osiągnąć za pomocą czegoś takiego mysqldump ... | gzip | pv > output.sql.gz.

— jevon

Tak, jest to trochę możliwe przy użyciu wierszy pliku, a nie bajtów. Otrzymujesz wystarczająco dokładny pasek postępu:

cat input_file | pv -ls $( wc -l input_file ) | gzip -c -- > compressed_file

— Archanioł
źródło

Zamiast tego możesz użyć 7z, aby uzyskać procentowy postęp:

$ 7z a spaCy.tar.gz spaCy.tar 

7-Zip [64] 16.02 : Copyright (c) 1999-2016 Igor Pavlov : 2016-05-21
p7zip Version 16.02 (locale=en_US.UTF-8,Utf16=on,HugeFiles=on,64 bits,8 CPUs Intel(R) Core(TM) i7-7700HQ CPU @ 2.80GHz (906E9),ASM,AES-NI)

Open archive: spaCy.tar.gz
--
Path = spaCy.tar.gz
Type = gzip
Headers Size = 20

Scanning the drive:
1 file, 326451200 bytes (312 MiB)

Updating archive: spaCy.tar.gz

Items to compress: 1

 32% U spaCy.tar

— qwr
źródło