Sortuj i policz liczbę wystąpień linii

145

Mam plik Apachedziennika, access.logjak policzyć liczbę wystąpień linii w tym pliku? na przykład wynikiem cut -f 7 -d ' ' | cut -d '?' -f 1 | tr '[:upper:]' '[:lower:]'jest

a.php
b.php
a.php
c.php
d.php
b.php
a.php

wynik, który chcę to:

3 a.php
2 b.php
1 d.php # order doesn't matter
1 c.php

command-line sort

— Kokizzu
źródło

| sort | uniq -c

— Costas

| LC_ALL=C sort | LC_ALL=C uniq -c

— Stéphane Chazelas

ah, nigdy nie wiem, że to uniqmoże zrobić ...

— Kokizzu

Czy masz przykład linii w dzienniku, ponieważ myślę, że można to zrobić za pomocą awk bez wszystkich rur.

jest w porządku, plik dziennika 8,1 GB jest przetwarzany w ciągu około 2 minut i jest już gotowy, nie jest już potrzebny: 3

— Kokizzu

Odpowiedzi:

196

| sort | uniq -c

Jak stwierdzono w komentarzach.

Pipingowanie danych wyjściowych w sortporządkuje dane wyjściowe w kolejności alfabetycznej / numerycznej.

Jest to wymagane, ponieważ uniqpasuje tylko do powtarzających się linii, tj

a
b
a

Jeśli użyjesz uniqtego pliku tekstowego, zwróci on:

a
b
a

Jest tak, ponieważ dwa as są oddzielone znakiem b- nie są to kolejne wiersze. Jeśli jednak najpierw posortujesz dane w kolejności alfabetycznej, np

a
a
b

Następnie uniqusunie powtarzające się linie. -cOpcja uniqzlicza liczbę powtórzeń i zapewnia wyjście w postaci:

2 a
1 b

Bibliografia:

— visudo
źródło

Witamy w systemach Unix i Linux :) Nie wahaj się dodać więcej szczegółów do swojej odpowiedzi i wyjaśnić, dlaczego i jak to działa;)

— John WH Smith,

printf '%s\n' ①.php ②.php | sort | uniq -cdaje mi2 ①.php

— Stéphane Chazelas

@ StéphaneChazelas Thats bo printf drukujephp\nphp

@Jidder, nie, to dlatego, że ①.phpsortuje się tak samo jak ②.phpw moim locale, ponieważ nie zdefiniowano kolejności sortowania dla tych ①i ②znaków w moim locale. Jeśli chcesz unikatowe wartości dla żadnej wartości bajtów (pamiętaj ścieżki plików niekoniecznie tekst), następnie trzeba naprawić locale C: | LC_ALL=C sort | LC_ALL=C uniq -c.

— Stéphane Chazelas

Aby posortować wynikowy plik zliczania, należy rozważyć dodanie „sort -nr” jako odpowiedzi @ eduard-florinescu poniżej.

— Lluís Suñol

104

[your command] | sort | uniq -c | sort -nr

Akceptowana odpowiedź jest prawie kompletna, możesz dodać sort -nrna końcu dodatkowy, aby posortować wyniki według linii, które występują najczęściej jako pierwsze

opcje uniq :

-c, --count
       prefix lines by the number of occurrences

opcje sortowania :

-n, --numeric-sort
       compare according to string numerical value
-r, --reverse
       reverse the result of comparisons

W konkretnym przypadku, gdy sortowane linie są liczbami, musisz użyć sort -grzamiast sort -nr, patrz komentarz

— Eduard Florinescu
źródło

Dziękuję bardzo za poinformowanie mnie o -nopcji.

— Sigur

Świetna odpowiedź, oto co mogę używać, aby uzyskać WordCount z pliku z wyroków: tr ' ' '\n' < $FILE | sort | uniq -c | sort -nr > wordcount.txt. Pierwsze polecenie zastępuje spacje nowymi wierszami, pozwalając na to, aby reszta polecenia działała zgodnie z oczekiwaniami.

— Bar

Korzystając z powyższych opcji, otrzymuję „1” przed „23344”. Używanie sort -grzamiast tego rozwiązuje to. -g: porównaj według ogólnej wartości liczbowej (zamiast -n: porównaj według wartości liczbowej ciągu).

— Peter Jaric

@PeterJaric Świetny haczyk i bardzo przydatne informacje, -grale myślę, że wynik uniq -cbędzie taki, że sort -nrbędzie działał zgodnie z przeznaczeniem

— Eduard Florinescu

— Peter Jaric

Możesz użyć tablicy asocjacyjnej na awk, a następnie - opcjonalnie - posortować :

cat access.log  | awk ' { tot[$0]++ } END { for (i in tot) print tot[i],i } ' | sort

wynik:

1 c.php
1 d.php
2 b.php
3 a.php

— Laurence R. Ugalde
źródło

Jak policzyłbyś liczbę wystąpień, gdy potok wysyła dane?

— user123456,