Grep od końca pliku do początku

Mam plik z około 30 000 000 wierszy (Radius Accounting) i muszę znaleźć ostatnie dopasowanie dla danego wzorca.

Komenda:

tac accounting.log | grep $pattern

daje to, czego potrzebuję, ale jest zbyt wolne, ponieważ system operacyjny musi najpierw odczytać cały plik, a następnie wysłać go do potoku.

Potrzebuję więc czegoś szybkiego, co umożliwi odczytanie pliku od ostatniej linii do pierwszej.

tacpomaga tylko, jeśli użyjesz grep -m 1(zakładając GNU grep), aby grepzatrzymać po pierwszym dopasowaniu:

tac accounting.log | grep -m 1 foo

Od man grep:

   -m NUM, --max-count=NUM
          Stop reading a file after NUM matching lines.  

W przykładzie w twoim pytaniu jedno taci drugie grepmusi przetworzyć cały plik, więc używanie tacjest w pewnym sensie bezcelowe.

Tak więc, chyba że użyjesz grep -m, nie używaj tacw ogóle, po prostu przeanalizuj wynik, grepaby uzyskać ostatnie dopasowanie:

grep foo accounting.log | tail -n 1 

Innym podejściem byłoby użycie Perla lub innego języka skryptowego. Na przykład (gdzie $pattern=foo):

perl -ne '$l=$_ if /foo/; END{print $l}' file

lub

awk '/foo/{k=$0}END{print k}' file

Powód dlaczego

tac file | grep foo | head -n 1

nie kończy się przy pierwszym meczu z powodu buforowania.

Zwykle head -n 1kończy się po przeczytaniu linii. Więc greppowinien dostać SIGPIPE i wyjść tak szybko, jak tylko napisze drugą linię.

Ale dzieje się tak, ponieważ ponieważ jego wyjście nie trafia do terminala, grepbuforuje je. Oznacza to, że nie pisze tego, dopóki nie zgromadzi wystarczającej ilości (4096 bajtów w moim teście z GNU grep).

Oznacza to, że grepnie wyjdzie przed zapisaniem 8192 bajtów danych, więc prawdopodobnie sporo wierszy.

Dzięki GNU grepmożesz sprawić, że wyjdzie wcześniej, używając polecenia, --line-bufferedktóre wypisuje wiersze, gdy tylko zostaną znalezione, niezależnie od tego, czy przejdzie do terminala, czy nie. Opuszczałby grepwtedy drugą znalezioną linię.

Ale z GNU i greptak możesz użyć -m 1zamiast tego, jak pokazał @terdon, co jest lepsze, gdy wychodzi z pierwszego meczu.

Jeśli grepnie grepjesteś GNU , możesz użyć sedlub awkzamiast tego. Ale tac będąc poleceniem GNU, wątpię, abyś znalazł system, w tacktórym grepnie ma GNU grep.

tac file | sed "/$pattern/!d;q"                             # BRE
tac file | P=$pattern awk '$0 ~ ENVIRON["P"] {print; exit}' # ERE

Niektóre systemy muszą tail -rrobić to samo co GNU tac.

Zauważ, że w przypadku zwykłych (możliwych do przeglądania) plików taci tail -rsą one wydajne, ponieważ odczytują pliki do tyłu, nie tylko czytają plik w całości przed wydrukowaniem go do tyłu (tak jak w przypadku sed @ slm lub tacw przypadku plików nieregularnych) .

W systemach, w których ani tacnie tail -rsą dostępne, jedynymi opcjami są ręczne odczytywanie wstecz przy użyciu języków programowania takich jak perllub użycie:

grep -e "$pattern" file | tail -n1

Lub:

sed "/$pattern/h;$!d;g" file

Ale oznacza to znalezienie wszystkich dopasowań i wydrukowanie tylko ostatniego.

Oto możliwe rozwiązanie, które znajdzie lokalizację pierwszego wystąpienia wzorca z ostatniego:

tac -s "$pattern" -r accounting.log | head -n 1

Wykorzystuje to następujące przełączniki -si :-rtac

-s, --separator=STRING
use STRING as the separator instead of newline

-r, --regex
interpret the separator as a regular expression

Korzystanie z sed

Pokazywanie alternatywnych metod dla dokładnej odpowiedzi @ Terdona za pomocą sed:

$ sed '1!G;h;$!d' file | grep -m 1 $pattern
$ sed -n '1!G;h;$p' file | grep -m 1 $pattern

Przykłady

$ seq 10 > file

$ sed '1!G;h;$!d' file | grep -m 1 5
5

$ sed -n '1!G;h;$p' file | grep -m 1 5
5

Korzystanie z Perla

Jako bonus, oto nieco łatwiejszy do zapamiętania zapis w Perlu:

$ perl -e 'print reverse <>' file | grep -m 1 $pattern

Przykład

$ perl -e 'print reverse <>' file | grep -m 1 5
5