Sprawdź, czy wszystkie wiersze pliku są unikalne

Mam plik tekstowy zawierający takie linie:

This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
.
.
.
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

Jak mogę być pewien wyjątkowości każdej linii?

UWAGA: Celem jest przetestowanie pliku, a nie modyfikowanie go, jeśli występują zduplikowane linie.

[ "$(wc -l < input)" -eq "$(sort -u input | wc -l)" ] && echo all unique

Rozwiązanie awk:

awk 'a[$0]++{print "dupes"; exit(1)}' file && echo "no dupes"

Używanie sort/ uniq:

sort input.txt | uniq

Aby sprawdzić tylko zduplikowane linie, użyj -dopcji uniq. Spowoduje to wyświetlenie tylko zduplikowanych wierszy, jeśli nie, nic nie pokaże:

sort input.txt | uniq -d

TLDR

Pierwotne pytanie było niejasne i czytano, że OP chciał po prostu unikalnej wersji zawartości pliku. To pokazano poniżej. W zaktualizowanej formie pytania OP twierdzi teraz, że po prostu chce wiedzieć, czy zawartość pliku jest unikalna, czy nie.

Sprawdź, czy zawartość pliku jest unikalna, czy nie

Możesz po prostu użyć sortdo sprawdzenia, czy plik jest unikalny lub zawiera takie duplikaty:

$ sort -uC input.txt && echo "unique" || echo "duplicates"

Przykład

Powiedz, że mam te dwa pliki:

$ cat dup_input.txt
This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

$  cat uniq_input.txt
A
B
C
D

Teraz, gdy analizujemy te pliki, możemy stwierdzić, czy są one unikalne, czy zawierają duplikaty:

$ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates

$ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique

Oryginalne pytanie (unikalna zawartość pliku)

Można to zrobić za pomocą sort:

$ sort -u input.txt
This is a thread  139737186379520
This is a thread  139737194772224
This is a thread  139737203164928
This is a thread  139737312270080
This is a thread  139737505302272
This is a thread  139737513694976
This is a thread  139737522087680

Zwykle sortplik, następnie używam uniqdo zliczania liczby duplikatów, a następnie sortznów widzę duplikaty na dole listy.

Dodałem jeden duplikat do podanych przykładów:

$ sort thread.file | uniq -c | sort
      1 This is a thread  139737186379520
      1 This is a thread  139737194772224
      1 This is a thread  139737203164928
      1 This is a thread  139737312270080
      1 This is a thread  139737513694976
      1 This is a thread  139737522087680
      2 This is a thread  139737505302272

Ponieważ uniqod jakiegoś czasu nie czytałem strony podręcznika, szybko szukałem alternatyw. Poniższe eliminuje potrzebę drugiego sortowania, jeśli chcesz zobaczyć tylko duplikaty:

$ sort thread.file | uniq -d
This is a thread  139737505302272

Jeśli nie ma duplikatów, wszystkie wiersze są unikalne:

[ "$(sort file | uniq -d)" ] && echo "some line(s) is(are) repeated"

Opis: posortuj wiersze pliku, aby powtarzały się kolejne wiersze (sortuj)
Wyodrębnij wszystkie kolejne wiersze, które są równe (uniq -d).
Jeśli istnieje wynik wyjściowy polecenia powyżej ( [...]), a następnie ( &&) wydrukuj komunikat.

Nie byłoby to kompletne bez odpowiedzi Perla!

$ perl -ne 'print if ++$a{$_} == 2' yourfile

Spowoduje to wydrukowanie każdej nieunikalnej linii jeden raz: jeśli więc nic nie wydrukuje, to plik ma wszystkie unikalne linie.

Korzystanie cmpi sortw bash:

cmp -s <( sort file ) <( sort -u file ) && echo 'All lines are unique'

lub

if cmp -s <( sort file ) <( sort -u file )
then
    echo 'All lines are unique'
else
    echo 'At least one line is duplicated'
fi

Spowodowałoby to jednak sortowanie pliku dwa razy, podobnie jak zaakceptowana odpowiedź.