Komenda Uniksa, aby znaleźć linie wspólne w dwóch plikach

Jestem pewien, że kiedyś znalazłem polecenie uniksowe, które może drukować wspólne linie z dwóch lub więcej plików, czy ktoś zna jego nazwę? To było o wiele prostsze niż diff.

Polecenie, którego szukasz, to comm. na przykład:-

comm -12 1.sorted.txt 2.sorted.txt

Tutaj:

-1 : pomija kolumnę 1 (wiersze unikalne dla 1.sorted.txt)

-2 : pomija kolumnę 2 (wiersze unikalne dla 2.sorted.txt)

Aby łatwo zastosować polecenie comm do nieposortowanych plików, użyj podstawienia procesu Basha :

$ bash --version
GNU bash, version 3.2.51(1)-release
Copyright (C) 2007 Free Software Foundation, Inc.
$ cat > abc
123
567
132
$ cat > def
132
777
321

Zatem pliki abc i def mają jedną wspólną linię, tę z „132”. Korzystanie z comm na nieposortowanych plikach:

$ comm abc def
123
    132
567
132
    777
    321
$ comm -12 abc def # No output! The common line is not found
$

Ostatni wiersz nie dał żadnych wyników, wspólny wiersz nie został wykryty.

Teraz użyj comm na posortowanych plikach, sortując pliki z podstawieniem procesu:

$ comm <( sort abc ) <( sort def )
123
            132
    321
567
    777
$ comm -12 <( sort abc ) <( sort def )
132

Teraz mamy linię 132!

Aby uzupełnić jednowarstwową wersję Perla, oto jej awkodpowiednik:

awk 'NR==FNR{arr[$0];next} $0 in arr' file1 file2

Spowoduje to odczytanie wszystkich wierszy z file1tablicy arr[], a następnie sprawdzenie każdej linii, file2jeśli już istnieje w tablicy (tj file1.). Znalezione wiersze zostaną wydrukowane w kolejności, w jakiej występują file2. Zauważ, że porównanie in arrużywa całej linii od file2indeksu do tablicy, więc będzie raportować tylko dokładne dopasowania dla całych linii.

Może masz na myśli comm?

Porównaj posortowane pliki PLIK1 i PLIK2 linia po linii.

Bez opcji utwórz wynik trójkolumnowy. Kolumna pierwsza zawiera wiersze unikalne dla PLIKU1, kolumna druga zawiera wiersze unikalne dla PLIKU2, a kolumna trzecia zawiera wiersze wspólne dla obu plików.

Sekretem w znalezieniu tych informacji są strony informacyjne. W przypadku programów GNU są one znacznie bardziej szczegółowe niż ich strony podręcznika. Spróbuj, info coreutilsa wyświetli się lista wszystkich małych przydatnych narzędzi.

Podczas

grep -v -f 1.txt 2.txt > 3.txt

daje różnice między dwoma plikami (co jest w 2.txt, a nie w 1.txt), możesz łatwo zrobić

grep -f 1.txt 2.txt > 3.txt

zebrać wszystkie typowe wiersze, które powinny zapewnić łatwe rozwiązanie problemu. Jeśli jednak posortowałeś pliki, powinieneś je wziąć comm. Pozdrowienia!

Jeśli dwa pliki nie są jeszcze posortowane, możesz użyć:

comm -12 <(sort a.txt) <(sort b.txt)

i to będzie działać, unikając komunikatu o błędzie comm: file 2 is not in sorted order , gdy robi comm -12 a.txt b.txt.

perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/'  file1 file2

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

W ograniczonej wersji Linuksa (jak QNAP (nas), nad którą pracowałem):

• comm nie istniał
• grep -f file1 file2może powodować pewne problemy, jak powiedział @ChristopherSchultz, a używanie grep -F -f file1 file2było naprawdę powolne (ponad 5 minut - nie skończyłem - ponad 2-3 sekundy z poniższą metodą na plikach powyżej 20 MB)

Oto co zrobiłem:

sort file1 > file1.sorted
sort file2 > file2.sorted

diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted

Jeśli files.same.sortedpowinny być w tej samej kolejności niż oryginalne, dodaj ten wiersz dla tego samego zamówienia niż plik 1:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same

lub, dla tego samego zamówienia, co plik 2:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same

Tylko w celach informacyjnych, jeśli ktoś nadal zastanawia się, jak to zrobić dla wielu plików, zobacz połączoną odpowiedź na temat Znajdowanie pasujących wierszy w wielu plikach.

Łącząc te dwie odpowiedzi ( ans1 i ans2 ), myślę, że możesz uzyskać wynik, którego potrzebujesz, bez sortowania plików:

#!/bin/bash
ans="matching_lines"

for file1 in *
do 
    for file2 in *
        do 
            if  [ "$file1" != "$ans" ] && [ "$file2" != "$ans" ] && [ "$file1" != "$file2" ] ; then
                echo "Comparing: $file1 $file2 ..." >> $ans
                perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/' $file1 $file2 >> $ans
            fi
         done 
done

Wystarczy go zapisać, nadać mu uprawnienia do wykonywania ( chmod +x compareFiles.sh) i uruchomić. Spowoduje to pobranie wszystkich plików znajdujących się w bieżącym katalogu roboczym i wykonanie porównania „wszystko przeciwko wszystkim”, pozostawiając wynik w pliku „dopasowywanie_ linii”.

Rzeczy do poprawy:

• Pomiń katalogi
• Unikaj porównywania wszystkich plików dwa razy (plik1 vs plik2 i plik2 vs plik1).
• Może dodać numer wiersza obok pasującego łańcucha

rm file3.txt

cat file1.out | while read line1
do
        cat file2.out | while read line2
        do
                if [[ $line1 == $line2 ]]; then
                        echo $line1 >>file3.out
                fi
        done
done

To powinno to zrobić.