Zachowaj tylko wiersze zawierające dokładną liczbę ograniczników

Mam ogromny plik csv z 10 polami oddzielonymi przecinkami. Niestety niektóre wiersze są zniekształcone i nie zawierają dokładnie 10 przecinków (co powoduje pewne problemy, gdy chcę odczytać plik do R). Jak mogę odfiltrować tylko wiersze zawierające dokładnie 10 przecinków?

Kolejny POSIX:

awk -F , 'NF == 11' <file

Jeśli linia ma 10 przecinków, w tej linii będzie 11 pól. Więc po prostu uczynić awkwykorzystania ,jako separatora pól. Jeśli liczba pól wynosi 11, warunek NF == 11jest spełniony, awka następnie wykonuje domyślną akcję print $0.

Za pomocą egrep(lub grep -Ew POSIX):

egrep "^([^,]*,){10}[^,]*$" file.csv

Odfiltrowuje to, co nie zawiera 10 przecinków: dopasowuje pełne linie ( ^na początku i $na końcu), zawierające dokładnie dziesięć powtórzeń ( {10}) sekwencji „dowolna liczba znaków oprócz”, ”, po których następuje pojedynczy„, ”„ ( ([^,]*,)), a następnie ponownie dowolna liczba znaków oprócz „,” ( [^,]*).

Możesz także użyć -xparametru, aby upuścić kotwice:

grep -xE "([^,]*,){10}[^,]*" file.csv

To jest mniej wydajna niż cuonglm „s awkrozwiązanie chociaż; ten drugi jest zazwyczaj sześciokrotnie szybszy w moim systemie dla linii z około 10 przecinkami. Dłuższe linie spowodują ogromne spowolnienia.

Najprostszy grepkod, który będzie działał:

grep -xE '([^,]*,){10}[^,]*'

Wyjaśnienie:

-xzapewnia, że ​​wzór musi pasować do całej linii, a nie tylko jej części. Jest to ważne, aby nie dopasowywać wierszy zawierających więcej niż 10 przecinków.

-E oznacza „rozszerzone wyrażenie regularne”, co powoduje, że w wyrażeniu regularnym występuje mniej ucieczki odwrotnego ukośnika.

Nawiasy są używane do grupowania, a {10}następnie oznacza, że ​​musi być dokładnie dziesięć dopasowań w rzędzie wzorca w nawiasach.

[^,]jest klasą znaków - na przykład [c-f]pasuje do każdego pojedynczego znaku, który jest a c, a d, elub an f, i [^A-Z]pasuje do każdego pojedynczego znaku, który NIE jest wielką literą. [^,]Dopasowuje więc dowolny pojedynczy znak oprócz przecinka.

Klasa *po znaku oznacza „zero lub więcej z nich”.

Zatem część wyrażenia regularnego ([^,]*,)oznacza „Dowolny znak oprócz przecinka dowolną liczbę razy (w tym zero razy), po którym następuje przecinek” i {10}określa 10 z nich. Następnie [^,]*dopasuj resztę znaków niebędących przecinkami do końca wiersza.

sed -ne's/,//11;t' -e's/,/&/10p' <in >out

To najpierw rozgałęzia dowolny wiersz z 11 lub więcej przecinkami, a następnie drukuje tylko te, które pasują do 10 przecinków.

Najwyraźniej odpowiedziałem na to wcześniej ... Oto plagiat z pytania szukającego dokładnie 4 wystąpień jakiegoś wzorca:

Możesz zaatakować [num]występowanie wzorca za pomocą s///polecenia sed ubstitution, po prostu dodając [num]do polecenia. Gdy oceniasz tpomyślne zastąpienie i nie określasz :etykiety docelowej , test wychodzi poza skrypt. Oznacza to, że wystarczy przetestować s///5przecinek lub więcej przecinków, a następnie wydrukować to, co pozostanie.

A przynajmniej obsługuje linie przekraczające maksimum 4. Najwyraźniej masz również minimalne wymagania. Na szczęście jest to tak samo proste:

sed -ne 's|,||5;t' -e 's||,|4p'

... po prostu zamień 4-te wystąpienie ,linii na siebie i przypnij pswój s///podstęp do flag ubstitution. Ponieważ wszystkie linie pasujące ,5 lub więcej razy zostały już przycięte, linie zawierające 4 ,dopasowania zawierają tylko 4.

Rzucając krótkie python:

#!/usr/bin/env python2
with open('file.csv') as f:
    print '\n'.join(line for line in f if line.count(',') == 10)

Spowoduje to odczytanie każdej linii i sprawdzenie, czy liczba przecinków w linii jest równa 10 line.count(',') == 10, jeśli tak, wydrukuje to linię.

A oto sposób Perla:

perl -F, -ane 'print if $#F==10'

-nPowoduje perlczytać swój wiersz po wierszu pliku wejściowego i wykonać skrypt podany przez -ena każdej linii. Do -awłącza automatyczną podziału: każda linia wejściowa zostanie podzielona na wartości podanej przez -F(tu przecinek) i zapisany jako tablicy @F.

$#F(Lub, bardziej ogólnie $#array) jest najwyższy wskaźnik tablicy @F. Ponieważ tablice zaczynają się 0linia z 11 pól będzie mieć @Fod 10. Dlatego skrypt wypisuje wiersz, jeśli ma dokładnie 11 pól.

Jeśli pola mogą zawierać przecinki lub znaki nowej linii, twój kod musi zrozumieć csv. Przykład (z trzema kolumnami):

$ cat filter.csv
a,b,c
d,"e,f",g
1,2,3,4
one,two,"three
...continued"

$ cat filter.csv | python3 -c 'import sys, csv
> csv.writer(sys.stdout).writerows(
> row for row in csv.reader(sys.stdin) if len(row) == 3)
> '
a,b,c
d,"e,f",g
one,two,"three
...continued"

Przypuszczam, że większość dotychczasowych rozwiązań odrzuciłaby drugi i czwarty rząd.