Odwrotne grepowanie

Powiedzmy, że mam naprawdę duży plik tekstowy (około 10.000.000 linii). Muszę to grepzrobić od końca i zapisać wynik w pliku. Jaki jest najbardziej efektywny sposób wykonania zadania?

Rozwiązanie tac / grep

tac file | grep whatever

Lub nieco bardziej efektywny:

grep whatever < <(tac file)

Czas z plikiem 500 MB:

real    0m1.225s
user    0m1.164s
sys     0m0.516s

Rozwiązanie sed / grep :

sed '1!G;h;$!d' | grep whatever

Czas z plikiem 500 MB: Przerwany po ponad 10 minutach.

awk / grep Rozwiązanie:

awk '{x[NR]=$0}END{while (NR) print x[NR--]}' file | grep whatever

Czas z plikiem 500 MB:

real    0m5.626s
user    0m4.964s
sys     0m1.420s

Rozwiązanie perl / grep :

perl -e 'print reverse <>' file | grep whatever

Czas z plikiem 500 MB:

real    0m3.551s
user    0m3.104s
sys     0m1.036s

To rozwiązanie może pomóc:

tac file_name | grep -e expression

Ten kończy działanie, gdy tylko znajdzie pierwsze dopasowanie:

 tac hugeproduction.log | grep -m1 WhatImLookingFor

Poniżej podano 5 linii przed i po pierwszych dwóch meczach:

 tac hugeproduction.log | grep -m2 -A 5 -B 5 WhatImLookingFor

Pamiętaj, aby nie używać -i(bez rozróżniania wielkości liter), chyba że musisz, ponieważ spowolni to grep.

Jeśli znasz dokładny ciąg, którego szukasz, rozważ fgrep(Naprawiono ciąg)

 tac hugeproduction.log | grep -F -m2 -A 5 -B 5 'ABC1234XYZ'

Jeśli plik jest naprawdę duży, nie mieści się w pamięci, skorzystam Perlz modułu File :: ReadBackwards z CPAN:

$ cat reverse-grep.pl
#!/usr/bin/perl

use strict;
use warnings;

use File::ReadBackwards;

my $pattern = shift;
my $rev = File::ReadBackwards->new(shift)
    or die "$!";

while (defined($_ = $rev->readline)) {
    print if /$pattern/;
}

$rev->close;

Następnie:

$ ./reverse-grep.pl pattern file