Jak grepować plik dziennika w określonym czasie

22

Mam plik dziennika, każda linia w dzienniku jest poprzedzona datą, taką jak:

2012-03-06 11:34:48,657 blah blah blah...

Jak mogę uzyskać grepten plik i uzyskać tylko wiersze tylko od 8 rano do 11 wieczorem?

Mam na myśli, że chcę policzyć liczbę błędów występujących w godzinach od 8:00 do 23:00.

grep

— Rosdi
źródło

24

egrep '^[^ ]+ (0[89]|1[0-9]|2[012]):'

Szczegółowe wyjaśnienie można znaleźć w różnych regex (regular expression) tutoriale; egrepużywa składni „POSIX Extended” ( man 7 regex).

Pierwszy ^oznacza „początek linii”.
[^ ]+ po prostu dopasowuje pole daty, niezależnie od faktycznej daty.
- [...]oznacza „dowolny znak między nawiasami”, więc [89]pasuje do jednego 8lub 9; [0-9]jest dowolną liczbą i [^ ]jest wszystkim oprócz spacji (z powodu ^nawiasów wewnętrznych).
- +oznacza „jeden lub więcej z poprzednich” (na przykład, a+by dopasować a, aaai aaaaaaaa).
- Zacznie ^[^ ]+się więc od początku wiersza i dopasuje tyle znaków spacji, ile może.
(...|...|...)oznacza „jeden z podanych wzorów”, to (0[89]|1[0-9]|2[012])znaczy „albo 0[89]czy 1[0-9]lub 2[012]”. Będzie pasować do wszystkich liczb od 08 do 22.

Nieco lepszą opcją jest:

awk -F'[: ]' '$2 >= 8 && $2 <= 22 { print }'

-FOpcja dzieli każdą linię do oddzielnych pól zgodnie z [: ]regex (pasująca zarówno :lub spacja), a awk sprawdza skrypt 2nd column (godzina).

— grawitacja
źródło

Cześć, działa .. ale czy możesz dodać małe wyjaśnienie, jak to działa? Nie rozumiem tej ^[^ ]+części ...

— Rosdi,

20

Po co zawracać sobie głowę używaniem grep? Możesz po prostu użyć sed.

przykład:

sed -n '/Jun 17 13:39:54/ , /Jun 18 10:50:28/p' kern.log

Spowoduje to wydrukowanie wszystkich dzienników między June 17 13:39:54iJune 18 10:50:28

— Nima G.
źródło

1

Myślę, że OP chce wszystkich dzienników między 8 rano a 23 wieczorem, tylko te z konkretnego dnia.

— Dennis

1

On też może to zrobić. Np .: sed -n '/ 2012-3-06 11:34:48 /, / 2012-3-06 16: 34: 48 / p' logfile.name

— Nima G

1

Paskudna literówka. Miałem na myśli: nie te z określonego dnia.

— Dennis

2

Problem z tym podejściem polega na tym, że plik dziennika musi zawierać linię z tym znacznikiem czasu. W powyższym przykładzie, jeśli nie ma linii ze znacznikiem czasu 2012-03-06 11:34:48, nic nie zostanie wydrukowane. Powyższe podejście awk zadziałałoby w takich przypadkach (tzn. Chcesz mieć wszystkie dzienniki z godziną od 8 do 11, ale nie wiesz, czy w dzienniku jest wpis w dzienniku 2012-03-06 08:00:00 lub coś w tym rodzaju godzina w ogóle).

— user650654,

0

Jest o wiele łatwiejszy sposób na zrobienie tego.

Pobierz / dokumentacja: autodrgrep.kl.sh

Dowództwo:

./autodrgrep.kl.sh   notchef   /tmp/client.log   '2016-05-08_08:00:00,2016-05-08_23:00:00'   'INFO'   'a2ensite'   5  10  -show

Wyjaśnienie:

autodrgrep.kl.sh to nazwa narzędzia.
notchef to opcja przekazywana do narzędzia, która informuje go, co ma robić. W tym konkretnym przypadku informuje narzędzie, jaki jest typ pliku dziennika /tmp/client.log.
/tmp/client.log jest oczywiście plikiem dziennika.
2016-05-08_19: 12: 00,2016-05-08_21: 13: 00 to zakres dat z dziennika, który chcesz przeskanować
„INFO” to jeden z ciągów w wierszach dzienników, które Cię interesują.
„a2ensite” to kolejny ciąg w tej samej linii, w którym spodziewasz się znaleźć ciąg „INFO”. Określenie tych dwóch ciągów (INFO i a2ensite) izoluje i przetwarza potrzebne linie znacznie szybciej, szczególnie jeśli masz do czynienia z ogromnym plikiem dziennika.
5 określa Ostrzeżenie. Podając 5, program ma ostrzegać program jako OSTRZEŻENIE, jeśli istnieje co najmniej 5 wystąpień określonych ciągów wyszukiwania
10 określa Krytyczny. Podając 10, nakazujesz programowi, aby ostrzegał jako KRYTYCZNY, jeśli istnieje co najmniej 10 wystąpień określonych ciągów wyszukiwania.
-show określa, jaki typ odpowiedzi otrzymasz. Podając opcję -shown, mówisz, że jeśli zostanie znalezione coś pasujące do określonych wzorców, zostanie wyświetlone na ekranie.

Przykładowy przebieg:

# ./autodrgrep.kl.sh notchef  /tmp/client.log   '2016-05-08_19:12:00,2016-05-08_21:13:00' 'INFO' 'a2ensite'  5  10  -show

[2016-05-08 19:12:58-07:00] INFO: Processing template[/usr/sbin/a2ensite] action create (apache2::default line 90)
[2016-05-08 19:12:58-07:00] INFO: Processing execute[a2ensite default] action run (apache2::default line 24)
[2016-05-08 19:12:58-07:00] INFO: execute[a2ensite default] ran successfully
[2016-05-08 19:13:09-07:00] INFO: Processing execute[a2ensite nagios3.conf] action run (logXrayServer::install line 24)
[2016-05-08 19:13:12-07:00] INFO: execute[a2ensite default] sending restart action to service[apache2] (delayed)
[2016-05-08 19:42:57-07:00] INFO: Processing template[/usr/sbin/a2ensite] action create (apache2::default line 90)
[2016-05-08 19:42:57-07:00] INFO: Processing execute[a2ensite default] action run (apache2::default line 24)
[2016-05-08 19:42:57-07:00] INFO: execute[a2ensite default] ran successfully
[2016-05-08 19:43:08-07:00] INFO: Processing execute[a2ensite nagios3.conf] action run (logXrayServer::install line 24)
[2016-05-08 19:43:11-07:00] INFO: execute[a2ensite default] sending restart action to service[apache2] (delayed)
[2016-05-08 20:12:58-07:00] INFO: Processing template[/usr/sbin/a2ensite] action create (apache2::default line 90)
[2016-05-08 20:12:58-07:00] INFO: Processing execute[a2ensite default] action run (apache2::default line 24)
[2016-05-08 20:12:58-07:00] INFO: execute[a2ensite default] ran successfully
[2016-05-08 20:13:10-07:00] INFO: Processing execute[a2ensite nagios3.conf] action run (logXrayServer::install line 24)
[2016-05-08 20:13:12-07:00] INFO: execute[a2ensite default] sending restart action to service[apache2] (delayed)
[2016-05-08 20:42:59-07:00] INFO: Processing template[/usr/sbin/a2ensite] action create (apache2::default line 90)
[2016-05-08 20:42:59-07:00] INFO: Processing execute[a2ensite default] action run (apache2::default line 24)
[2016-05-08 20:42:59-07:00] INFO: execute[a2ensite default] ran successfully
[2016-05-08 20:43:09-07:00] INFO: Processing execute[a2ensite nagios3.conf] action run (logXrayServer::install line 24)
[2016-05-08 20:43:12-07:00] INFO: execute[a2ensite default] sending restart action to service[apache2] (delayed)
[2016-05-08 21:12:59-07:00] INFO: Processing template[/usr/sbin/a2ensite] action create (apache2::default line 90)
[2016-05-08 21:12:59-07:00] INFO: Processing execute[a2ensite default] action run (apache2::default line 24)
[2016-05-08 21:12:59-07:00] INFO: execute[a2ensite default] ran successfully
23
2---78720---23---ATWFILF---(2016-05-08)-(19:12)---(2016-05-08)-(21:13) SEAGM

Co się stanie, jeśli w dzienniku nie ma określonego zakresu dat lub przedziału czasowego?

Każde uruchomienie powyższej komendy będzie zawsze miało wiersz (ostatni wiersz wyniku), który mówi „ATWFILF” lub „ETWNFILF”.

ATWFILF oznacza, że rzeczywisty zakres dat lub przedział czasowy, którego szukasz, został znaleziony w dzienniku. To jest bardzo dobre.
ETWNFILF oznacza, że rzeczywisty zakres dat lub przedział czasowy, którego szukasz, NIE został znaleziony w dzienniku. W takim przypadku zostanie wykryty i użyty czas najbliższy podanemu czasowi.

— Uproszczona praca
źródło