Próbuję wykonać rejestr rekordów dla pliku gzip o wielkości 7,6 GB. Znalazłem kilka podejść przy użyciu zcatpolecenia.

$ zcat T.csv.gz | wc -l
423668947

To działa, ale zajmuje zbyt dużo czasu (więcej niż 10 minut, aby uzyskać licznik). Próbowałem jeszcze kilku takich podejść

$ sed -n '$=' T.csv.gz
28173811
$ perl -lne 'END { print $. }' < T.csv.gz
28173811
$ awk 'END {print NR}' T.csv.gz
28173811

Wszystkie trzy te polecenia działają dość szybko, ale dają niepoprawną liczbę 28173811.

Jak mogę wykonać rekord w minimalnym czasie?

Te sed, perli awkpolecenia, które można wymienić poprawne, ale wszystko przeczytać skompresowane dane i liczby znaków nowego wiersza w tym. Te znaki nowej linii nie mają nic wspólnego ze znakami nowej linii w nieskompresowanych danych.

Aby policzyć liczbę wierszy w nieskompresowanych danych, nie ma sposobu na ich rozpakowanie. Twoje podejście zcatjest prawidłowe, a ponieważ dane są tak duże, ich rozpakowanie zajmie trochę czasu.

Większość narzędzi zajmujących się gzipkompresją i dekompresją najprawdopodobniej wykorzysta do tego te same procedury bibliotek współdzielonych. Jedynym sposobem na jego przyspieszenie byłoby znalezienie implementacji zlibprocedur, które są w jakiś sposób szybsze od domyślnych, i przebudowanie np. Ich zcatużycie.

Użyj unpigz.

Odpowiedź Kusalananda jest poprawna, to będzie trzeba rozpakować, że cały plik do skanowania jego zawartość. /bin/gunziprobi to tak szybko, jak to możliwe, na jednym rdzeniu. Pigz to równoległa implementacja, gzipktóra może wykorzystywać wiele rdzeni.

Niestety, dekompresja sama od zwykłych plików gzip nie można parallelized, ale pigznie oferują ulepszoną wersję gunzip, unpigz, że robi prac związanych, takich jak czytanie, pisanie, i sum kontrolnych w osobnym wątku. W niektórych szybkich testach porównawczych unpigzjest prawie dwa razy szybszy niż gunzipna moim podstawowym komputerze i5.

Zainstaluj pigzz ulubionym menedżerem pakietów i używaj unpigzzamiast gunziplub unpigz -czamiast zcat. Twoje polecenie staje się:

$ unpigz -c T.csv.gz | wc -l

Wszystko to zakłada, że ​​wąskim gardłem jest procesor, a nie dysk.

Problem ze wszystkimi rurociągami polega na tym, że zasadniczo podwajasz pracę. Bez względu na to, jak szybka jest dekompresja, dane nadal muszą zostać przeniesione do innego procesu.

Perl ma PerlIO :: gzip, który pozwala bezpośrednio czytać strumienie gzip. Dlatego może oferować przewagę, nawet jeśli jego prędkość dekompresyjna może nie odpowiadać unpigz:

#!/usr/bin/env perl

use strict;
use warnings;

use autouse Carp => 'croak';
use PerlIO::gzip;

@ARGV or croak "Need filename\n";

open my $in, '<:gzip', $ARGV[0]
    or croak "Failed to open '$ARGV[0]': $!";

1 while <$in>;

print "$.\n";

close $in or croak "Failed to close '$ARGV[0]': $!";

Próbowałem go z 13 MB skompresowanym plikiem gzip (dekompresuje się do 1,4 GB) na starym MacBooku Pro 2010 z 16 GB pamięci RAM i starym ThinkPad T400 z 8 GB pamięci RAM z plikiem już w pamięci podręcznej. Na Macu skrypt Perla był znacznie szybszy niż przy użyciu potoków (5 sekund vs 22 sekund), ale na ArchLinux stracił rozpakowanie:

$ time -p ./gzlc.pl spy.gz 
1154737
prawdziwe 4,49
użytkownik 4.47
sys 0,01

przeciw

$ time -p unpigz -c spy.gz | wc -l
1154737
prawdziwy 3.68
użytkownik 4.10
sys 1.46

i

$ time -p zcat spy.gz | wc -l
1154737
prawdziwe 6,41
użytkownik 6.08
sys 0,86

Oczywiste jest, że używanie unpigz -c file.gz | wc -ljest tutaj zwycięzcą zarówno pod względem szybkości. I ta prosta linia poleceń z pewnością przewyższa pisanie programu, nawet najkrótszego.

Odpowiedź Kusalanandy jest w większości poprawna. Aby policzyć linie, musisz wyszukać nowe linie. Jednak teoretycznie możliwe jest wyszukiwanie nowych linii bez całkowitego rozpakowywania pliku.

gzip używa kompresji DEFLATE. DEFLATE to kombinacja kodowania LZ77 i Huffmana. Może istnieć sposób, aby odkryć tylko węzeł symbolu Huffmana dla nowej linii i zignorować resztę. Prawie na pewno istnieje sposób na wyszukiwanie nowych linii zakodowanych za pomocą L277, utrzymywanie liczby bajtów i ignorowanie wszystkiego innego.

Więc IMHO teoretycznie możliwe jest znalezienie rozwiązania bardziej wydajnego niż unpigz czy zgrep. To powiedziawszy, z pewnością nie jest praktyczne (chyba że ktoś już to zrobił).

Można to zrobić za zgreppomocą -cflagi i $parametru.

W takim przypadku -c poinstruuj komendę, aby wypisała liczbę dopasowanych linii, a regex $ dopasowuje koniec linii, aby pasował do każdej linii lub pliku.

zgrep -c $ T.csv.gz 

Jak komentował @ StéphaneChazelas - zgrepto tylko skrypt wokół zcati greppowinny zapewniać podobną wydajność do oryginalnego sugestięzcat | wc -l

Jak widać, większość odpowiedzi próbuje zoptymalizować to, co potrafi: liczbę przełączników kontekstu i międzyoperacyjne operacje wejścia / wyjścia. Powodem jest to, że jest to jedyne, co można tutaj łatwo zoptymalizować.

Problem polega na tym, że zapotrzebowanie na zasoby jest prawie nieistotne w stosunku do zapotrzebowania na zasoby podczas dekompresji. Właśnie dlatego optymalizacje nie przyspieszają niczego.

Tam, gdzie można to naprawdę przyspieszyć, byłby to zmodyfikowany algorytm rozpakowywania (tj. Dekompresji), który pomija faktyczną produkcję rozpakowanego strumienia danych; raczej oblicza tylko liczbę nowych linii w zdekompresowanym strumieniu ze skompresowanego . Byłoby ciężko, wymagałaby głębokiej znajomości algorytmu gzip (pewnej kombinacji algorytmów kompresji LZW i Huffmana ). Jest całkiem prawdopodobne, że algorytm nie pozwala znacząco zoptymalizować czasu dekompresji przy oświetleniu, że musimy tylko znać liczbę nowych linii. Nawet jeśli byłoby to możliwe, zasadniczo powinna zostać opracowana nowa biblioteka dekompresyjna gzip (nie istnieje, dopóki się nie dowie).

Realistyczna odpowiedź na twoje pytanie brzmi: nie, nie możesz uczynić go znacznie szybszym.

Być może przydałaby Ci się równoległa dekompresja gzip, jeśli istnieje. Może używać wielu rdzeni procesora do dekompresji. Jeśli nie istnieje, można go stosunkowo łatwo opracować.

Dla xz istnieje równoległy kompresor (pxz).