Policz wszystkie wystąpienia ciągu w wielu plikach z grep

Mam kilka plików dziennika. Muszę dowiedzieć się, ile razy łańcuch występuje we wszystkich plikach.

grep -c string *

zwroty

...
file1:1
file2:0
file3:0
...

Za pomocą potoku udało mi się uzyskać tylko pliki, które mają jedno lub więcej wystąpień:

grep -c string * | grep -v :0

...
file4:5
file5:1
file6:2
...

Jak mogę uzyskać tylko łączną liczbę? (Jeśli to wróci file4:5, file5:1, file6:2, chcę odzyskać 8.)

cat * | grep -c string

Działa to dla wielu wystąpień w wierszu:

grep -o string * | wc -l

grep -oh string * | wc -w

policzy wiele wystąpień w linii

Zamiast używać -c, po prostu potokuj go do wc -l.

grep string * | wc -l

Spowoduje to wyświetlenie każdego wystąpienia w jednej linii, a następnie policzy liczbę linii.

Pominie to jednak przypadki, w których ciąg występuje ponad 2 razy w jednej linii.

cat * | grep -c string

Jedna z rzadkich przydatnych aplikacji cat.

Coś innego niż wszystkie poprzednie odpowiedzi:

perl -lne '$count++ for m/<pattern>/g;END{print $count}' *

Możesz dodawać -Rdo wyszukiwania rekurencyjnie (i unikać używania cat) i -Iignorować pliki binarne.

grep -RIc string .

Obowiązkowe rozwiązanie AWK:

grep -c string * | awk 'BEGIN{FS=":"}{x+=$2}END{print x}'

Uważaj, jeśli twoje nazwy plików zawierają „:”.

Rozwiązanie AWK, które obsługuje również nazwy plików, w tym dwukropki:

grep -c string * | sed -r 's/^.*://' | awk 'BEGIN{}{x+=$1}END{print x}'

Należy pamiętać, że ta metoda nadal nie wykrywa wielu wystąpień stringtej samej linii.

Jeśli chcesz liczbę wystąpień na plik (przykład dla ciągu „tcp”):

grep -RIci "tcp" . | awk -v FS=":" -v OFS="\t" '$2>0 { print $2, $1 }' | sort -hr

Przykładowe dane wyjściowe:

53  ./HTTPClient/src/HTTPClient.cpp
21  ./WiFi/src/WiFiSTA.cpp
19  ./WiFi/src/ETH.cpp
13  ./WiFi/src/WiFiAP.cpp
4   ./WiFi/src/WiFiClient.cpp
4   ./HTTPClient/src/HTTPClient.h
3   ./WiFi/src/WiFiGeneric.cpp
2   ./WiFi/examples/WiFiClientBasic/WiFiClientBasic.ino
2   ./WiFiClientSecure/src/ssl_client.cpp
1   ./WiFi/src/WiFiServer.cpp

Wyjaśnienie:

• grep -RIci NEEDLE . - wyszukuje rekurencyjnie ciąg NEEDLE z bieżącego katalogu (następujące dowiązania symboliczne), ignorując pliki binarne, licząc liczbę wystąpień, ignorując wielkość liter
• awk ... - to polecenie ignoruje pliki o zerowym wystąpieniu i formatuje linie
• sort -hr - sortuje wiersze w odwrotnej kolejności według liczb w pierwszej kolumnie

Oczywiście działa również z innymi poleceniami grep z opcją -c(liczba). Na przykład:

grep -c "tcp" *.txt | awk -v FS=":" -v OFS="\t" '$2>0 { print $2, $1 }' | sort -hr

Możesz użyć prostego, grepaby skutecznie uchwycić liczbę wystąpień. Wykorzystam tę -iopcję, aby upewnić STRING/StrING/stringsię, że zostaniesz poprawnie przechwycony.

Wiersz poleceń podający nazwę plików:

grep -oci string * | grep -v :0

Wiersz polecenia, który usuwa nazwy plików i drukuje 0, jeśli istnieje plik bez wystąpień:

grep -ochi string *

krótki wariant rekurencyjny :

find . -type f -exec cat {} + | grep -c 'string'

Tylko rozwiązanie Grep, które testowałem z grep dla Windows:

grep -ro "pattern to find in files" "Directory to recursively search" | grep -c "pattern to find in files"

To rozwiązanie policzy wszystkie wystąpienia, nawet jeśli jest ich wiele w jednej linii. -rrekurencyjnie przeszukuje katalog, -o„pokaże tylko część wiersza pasującego WZORZEC” - to właśnie dzieli wiele wystąpień w jednym wierszu i powoduje, że grep drukuje każde dopasowanie w nowym wierszu; następnie potokuj wyniki rozdzielone znakiem nowej linii z powrotem do grep, -caby policzyć liczbę wystąpień przy użyciu tego samego wzorca.

Oto szybszy niż grep alternatywny sposób AWK, który obsługuje wiele dopasowań w <url>wierszu, w kolekcji plików XML w katalogu:

awk '/<url>/{m=gsub("<url>","");total+=m}END{print total}' some_directory/*.xml

Działa to dobrze w przypadkach, gdy niektóre pliki XML nie mają podziałów linii.

Kolejny oneliner korzystający z podstawowych funkcji wiersza poleceń obsługujących wiele wystąpień w wierszu.

 cat * |sed s/string/\\\nstring\ /g |grep string |wc -l