Jak „grep” ciągły strumień?

Czy można tego używać grepw ciągłym strumieniu?

Mam na myśli rodzaj tail -f <file>polecenia, ale z grepwyjściem, aby zachować tylko te linie, które mnie interesują.

Próbowałem, tail -f <file> | grep patternale wydaje się, że grepmożna go wykonać tylko po tailzakończeniu, czyli nigdy.

Włącz greptryb buforowania linii podczas korzystania z BSD grep (FreeBSD, Mac OS X itp.)

tail -f file | grep --line-buffered my_pattern

Nie musisz tego robić w przypadku GNU grep (używanego prawie na każdym Linuksie), ponieważ domyślnie będzie się opróżniał (YMMV dla innych systemów uniksowych, takich jak SmartOS, AIX lub QNX).

Używam tail -f <file> | grep <pattern>cały czas.

Poczeka, aż grep się opróżni, a nie do końca (używam Ubuntu).

Myślę, że twoim problemem jest to, że grep używa buforowania danych wyjściowych. Próbować

tail -f file | stdbuf -o0 grep my_pattern

ustawia tryb buforowania wyjścia grep na niebuforowany.

Jeśli chcesz znaleźć dopasowania w całym pliku (nie tylko ogon) i chcesz, aby siedział i czekał na nowe dopasowania, działa to dobrze:

tail -c +0 -f <file> | grep --line-buffered <pattern>

-c +0Flaga mówi, że wyjście powinno rozpocząć 0bajtów ( -c) od początku ( +) z pliku.

W większości przypadków możesz tail -f /var/log/some.log |grep fooi będzie działać dobrze.

Jeśli potrzebujesz użyć wielu grepów w działającym pliku dziennika i okaże się, że nie otrzymujesz danych wyjściowych, może być konieczne włożenie --line-bufferedprzełącznika do środkowego grepa (s), tak jak poniżej:

tail -f /var/log/some.log | grep --line-buffered foo | grep bar

możesz uznać tę odpowiedź za udoskonalenie .. zwykle używam

tail -F <fileName> | grep --line-buffered  <pattern> -A 3 -B 5

-F jest lepszy w przypadku obracania pliku (-f nie będzie działał poprawnie, jeśli plik został obrócony)

-A i -B są przydatne do pobierania linii tuż przed i po wystąpieniu wzoru. Bloki te pojawią się między separatorami linii przerywanej

Ale dla mnie wolę robić następujące rzeczy

tail -F <file> | less

jest to bardzo przydatne, jeśli chcesz przeszukiwać dzienniki przesyłane strumieniowo. Mam na myśli cofanie się i naprzód i głębokie spojrzenie

Nie widziałem nikogo, kto zaoferowałby mi to za to:

less +F <file>
ctrl + c
/<search term>
<enter>
shift + f

Wolę to, ponieważ możesz użyć ctrl + cdo zatrzymania pliku i poruszania się po nim, a następnie po prostu naciśnij, shift + faby powrócić do wyszukiwania strumieniowego na żywo.

sed byłby lepszym wyborem ( edytor strumieniowy )

tail -n0 -f <file> | sed -n '/search string/p'

a jeśli chcesz, aby polecenie tail zakończyło działanie po znalezieniu określonego ciągu:

tail --pid=$(($BASHPID+1)) -n0 -f <file> | sed -n '/search string/{p; q}'

Oczywiście bashism: $ BASHPID będzie identyfikatorem procesu polecenia tail. Komenda sed jest następna po ogonie w rurze, więc identyfikator procesu sed to $ BASHPID + 1.

Tak, to naprawdę będzie działać dobrze. Grepi większość poleceń Uniksa działa na strumieniach jedna linia na raz. Każda linia wychodząca z ogona zostanie przeanalizowana i przekazana, jeśli pasuje.

To jedno polecenie działa dla mnie (Suse):

mail-srv:/var/log # tail -f /var/log/mail.info |grep --line-buffered LOGIN  >> logins_to_mail

zbieranie danych logowania do usługi pocztowej

z pewnością nie odniesiesz sukcesu

tail -f /var/log/foo.log |grep --line-buffered string2search

kiedy używasz „colortail” jako aliasu dla ogona, np. w bash

alias tail='colortail -n 30'

możesz sprawdzić według typu aliasu, czy wyświetla to coś w rodzaju aliasu ogona colortail -n 30. to masz winowajcę :)

Rozwiązanie:

usuń alias za pomocą

unalias tail

upewnij się, że używasz „prawdziwego” pliku binarnego ogona za pomocą tego polecenia

type tail

co powinno wypisać coś takiego:

tail is /usr/bin/tail

a następnie możesz uruchomić polecenie

tail -f foo.log |grep --line-buffered something

Powodzenia.

Użyj awk (kolejne świetne narzędzie do bash) zamiast grep, gdzie nie masz opcji buforowanej linii! Będzie stale przesyłać dane z ogona.

tak używasz grep

tail -f <file> | grep pattern

Tak użyłbyś awk

tail -f <file> | awk '/pattern/{print $0}'