Dlaczego uniq nie jest na tyle wyjątkowy, że istnieje również uniq --unique?

Oto polecenia dotyczące losowego pliku z pastebin :

wget -qO - http://pastebin.com/0cSPs9LR | wc -l
350
wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u | wc -l
258

Strony podręcznika nie są jasne, co -urobi flaga. Jakakolwiek rada?

Krótka wersja:

• uniq, bez -u, sprawia, że ​​każdy wiersz wyniku jest unikalny.
• uniq -udrukuje tylko każdą unikalną linię z wejścia .

Nieco dłuższa wersja:

uniqsłuży do obsługi plików, które mają zduplikowane linie i tylko wtedy, gdy linie te pojawiają się kolejno na wejściu. Zatem dla swoich celów unikalna linia to taka, która nie jest natychmiast duplikowana.

( uniqma bardzo ograniczoną pamięć krótkotrwałą; nigdy nie będzie pamiętał, czy linia pojawiła się wcześniej na wejściu, chyba że była to bezpośrednio poprzednia linia - dlatego uniqbardzo często jest łączona sort).

Gdy napotka szereg powtarzających się wierszy, uniqbez -uargumentu drukuje jedną kopię tego wiersza. (To sprawia, że ​​każdy wiersz wyniku jest unikalny ).

Z -uargumentem wypisuje zero kopii tego wiersza - serie duplikatów są po prostu pomijane w danych wyjściowych.

uniqz -upomija wszystkie linie, które mają duplikaty. A zatem:

$ printf "%s\n" 1 1 2 3 | uniq
1
2
3
$ printf "%s\n" 1 1 2 3 | uniq -u
2
3

Zwykle uniqdrukuje wiersze co najwyżej raz (przy założeniu posortowanego wejścia). Ta opcja faktycznie drukuje wiersze, które są naprawdę unikalne (nie pojawiły się ponownie).

specyfikacja uniq POSIX wyraźnie to opisała:

-u
    Suppress the writing of lines that are repeated in the input.

-uopcja powoduje, aby uniqnie drukować powtarzających się linii.

Większość uniqimplementacji używała porównania bajtów, podczas gdy GNU uniqstosowało porządek sortowania do filtrowania zduplikowanych linii. Może więc powodować nieprawidłowe wyniki w niektórych lokalizacjach, na przykład w en_US.UTF-8ustawieniach regionalnych:

$ printf '%b\n' '\U2460' '\U2461' | uniq
①

i nie -udał ci żadnych wierszy:

$ printf '%b\n' '\U2460' '\U2461' | uniq -u
<blank>

Powinieneś więc ustawić ustawienia regionalne, Caby uzyskać porównanie bajtów:

$ printf '%b\n' '\U2460' '\U2461' | LC_ALL=C uniq
①
②

normalna:

echo "a b a b c c c" | tr ' ' '\n'
a
b
a
b
c
c
c

uniq: nie ma dwóch kolejnych powtarzających się wierszy

echo "a b a b c c c" | tr ' ' '\n' | uniq
a
b
a
b
c

posortowane

echo "a b a b c c c" | tr ' ' '\n' | sort
a
a
b
b
c
c
c

sort -u: nie ma dwóch powtarzających się wierszy

echo "a b a b c c c" | tr ' ' '\n' | sort -u
a
b
c

sort / uniq: wszystkie odrębne

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq
a
b
c

liczy różne wystąpienia

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq -c
2 a
2 b
3 c

tylko wiersze, które się nie powtarzają (nie są najpierw sortowane)

echo "a b a b c c c" | tr ' ' '\n' | uniq -u
a
b
a
b

tylko wiersze, które się nie powtarzają (po sortowaniu)

echo "a b a b c c c Z" | tr ' ' '\n' | sort | uniq -u
Z

uniq -d: wypisuje tylko zduplikowane linie, po jednej dla każdej grupy

echo "a b a b c c c" | tr ' ' '\n' | uniq -d
c

.. policzył

echo "a b a b c c c" | tr ' ' '\n' | uniq -dc
3 c