Parsowanie plików dziennika dla częstych adresów IP

Więc zhakowałem to razem, przechodząc atak DDOS, aby wyciągnąć niegrzeczne IP z moich logów. Czy ktoś ma jakieś ulepszenia lub inne sugestie, aby to poprawić?

Oto ogólny pomysł:

1. wyciągnij ip tylko z pliku dziennika
2. posortuj je
3. uniq i policz je
4. posortuj je ponownie

I rury o'pipe:
cut --delim " " -f7 /var/log/apache_access | sort | uniq -c | sort -rn > sorted-ips.txt

Zawsze używałem tego:

tail -1000 /var/log/apache_access | awk '{print $1}' | sort -nk1 | uniq -c | sort -nk1

Ponieważ tailjestem w stanie ustawić limit, o ile naprawdę chcę się cofnąć - dobrze, jeśli nie używasz obracania dziennika (z jakiegokolwiek powodu), po drugie korzystam awk- ponieważ większość dzienników jest rozdzielana spacjami, „ pozostawiłem sobie możliwość wyciągnięcia dodatkowych informacji (ewentualnie adresów URL, na które trafiali, statusów, przeglądarek itp.) poprzez dodanie odpowiedniej $zmiennej. Wreszcie błąd w uniqnim działa tylko w dotykających się parach - IE:

A
A
A
A
B
A
A

Będzie produkować:

4 A
1 B
2 A

Nie pożądana moc wyjściowa. Więc sortujemy pierwszą kolumnę (w tym przypadku IP, ale możemy sortować inne kolumny), a następnie uniqje, w końcu sortujemy liczbę rosnąco, aby zobaczyć najwyższych przestępców.

Wygląda na to, że jesteś w trakcie wymyślania koła fail2ban .

Spójrz na fail2ban. Prawdopodobnie robi to, co chcesz, a jeśli nie, łatwo to dostosować.

Marco Ceppi ma rację, mówiąc, awkże jest lepszym narzędziem do tego, ale awk jest również lepszym narzędziem niż sorti uniqod kiedy można wprowadzić tę logikę awk. Nie robi to wielkiej różnicy, jeśli po prostu dostosowujesz 1000 linii, ale jeśli chcesz spojrzeć na ogromny plik dziennika z wieloma koncertami, może być szybszy o kilka rzędów wielkości awk.

cat /var/log/apache_access | awk '{freq[$1]++} END {for (x in freq) {print freq[x], x}}' | sort -nzrobi to, czego potrzebujesz, ale w przypadku dużych plików jest znacznie szybszy. Tworzy tablicę adresów IP w awk, używając adresu IP jako klucza i liczby wystąpień adresów IP jako wartości.

Przyspieszenie przychodzi, ponieważ awk wykonuje jedno przejście przez dane i wykonuje większość pracy, z wyjątkiem sortowania końcowego wyniku. Używając drugiej metody, jeśli masz 1 000 000 linii w dzienniku przesyłania, awk odczytuje 1 000 000 linii wyrzucających 1 000 000 adresów IP, następnie sortowanie przechodzi przez całe 1 000 000 adresów IP, wysyłając teraz posortowane 1 000 000 adresów IP do uniq, co zmniejsza je do znacznie mniejszej ilość danych przed sortowaniem. Zamiast przesyłać wokół / wykonywać wiele przejść dla 1 000 000 adresów IP, awk robi prawie wszystko za jednym przejściem.

Korzystając z 5513,132 dziennika apache linii (1,1 koncertów) na moim laptopie, oto porównanie prędkości:

• 2m 45s cat ./apache_access | awk '{print $1}' | sort -nk1 | uniq -c | sort -nk1
• 0m 40s cat ./apache_access | awk '{freq[$1]++} END {for (x in freq) {print freq[x], x}}' | sort -n