Usuń dodatkowe linie nagłówka z pliku, z wyjątkiem pierwszej linii

Mam plik, który wygląda jak ten przykład zabawki. Mój rzeczywisty plik ma 4 miliony wierszy, z których około 10 muszę usunąć.

ID  Data1  Data2
1    100    100
2    100    200
3    200    100
ID  Data1  Data2
4    100    100
ID  Data1  Data2
5    200    200

Chcę usunąć wiersze, które wyglądają jak nagłówek, z wyjątkiem pierwszego wiersza.

Ostateczny plik:

ID  Data1  Data2
1    100    100
2    100    200
3    200    100
4    100    100
5    200    200

W jaki sposób mogę to zrobić?

header=$(head -n 1 input)
(printf "%s\n" "$header";
 grep -vFxe "$header" input
) > output

1. pobierz wiersz nagłówka z pliku wejściowego do zmiennej
2. wydrukuj nagłówek
3. przetwarza plik, grepaby pominąć wiersze pasujące do nagłówka
4. przechwyć dane wyjściowe z powyższych dwóch kroków do pliku wyjściowego

Możesz użyć

sed '2,${/ID/d;}'

Spowoduje to usunięcie wierszy o ID zaczynających się od wiersza 2.

Dla tych, którzy nie lubią nawiasów klamrowych

sed -e '1n' -e '/^ID/d'

• noznacza passlinię nr1
• d usuń wszystkie pasujące linie rozpoczynające się od ^ID

Oto zabawny. Możesz użyć sedbezpośrednio do usunięcia wszystkich kopii pierwszego wiersza i pozostawienia wszystkiego na swoim miejscu (w tym samego pierwszego wiersza).

sed '1{h;n;};G;/^\(.*\)\n\1$/d;s/\n.*$//' input

1{h;n;}umieszcza pierwszy wiersz w polu wstrzymania, drukuje go i czyta w następnym wierszu - pomijając pozostałe sedpolecenia dla pierwszego wiersza. ( Pomija1 również ten pierwszy test dla drugiej linii , ale to nie ma znaczenia, ponieważ test ten nie miałby zastosowania do drugiej linii).

G dołącza znak nowej linii, a następnie zawartość przestrzeni wstrzymania do obszaru wzoru.

/^\(.*\)\n\1$/dusuwa zawartość przestrzeni wzorów (tym samym przechodząc do następnego wiersza), jeśli część po nowej linii (tj. ta, która została dodana z przestrzeni wstrzymania) dokładnie pasuje do części przed nową linią. To tutaj wiersze, które duplikują nagłówek, zostaną usunięte.

s/\n.*$//usuwa część tekstu dodaną przez Gpolecenie, dzięki czemu drukowana jest tylko linia tekstu z pliku.

Ponieważ jednak wyrażenie regularne jest drogie, nieco szybszym podejściem byłoby użycie tego samego warunku (zanegowanie) i Pzerwanie do nowej linii, jeśli część po nowej linii (tj. To, co zostało dodane z przestrzeni wstrzymania) nie pasuje dokładnie do części przed znakiem nowej linii, a następnie bezwarunkowo usuń przestrzeń wzorców:

sed '1{h;n;};G;/^\(.*\)\n\1$/!P;d' input

Dane wyjściowe po podaniu danych wejściowych to:

ID  Data1  Data2
1    100    100
2    100    200
3    200    100
4    100    100
5    200    200

Oto kilka innych opcji, które nie wymagają wcześniejszej znajomości pierwszego wiersza:

perl -ne 'print unless $_ eq $k; $k=$_ if $.==1; 

-nFlaga mówi Perl do pętli nad jego pliku wejściowego, oszczędzając każdy wiersz jako $_. $k=$_ if $.==1;Oszczędza pierwsza linia ( $.to numer linii, więc $.==1będzie tylko prawda w 1. linii), jak $k. Te print unless $k eq $_odciski bieżącej linii, jeśli nie jest taki sam jak ten, zapisany w$k .

Alternatywnie to samo w awk:

awk '$0!=x;(NR==1){x=$0}' file 

Tutaj sprawdzamy, czy bieżący wiersz jest taki sam, jak zapisany w zmiennej x. Jeśli test ma $0!=xwartość true (jeśli bieżący wiersz $0nie jest taki sam jak x), wiersz zostanie wydrukowany, ponieważ domyślną akcją dla awk w wyrażeniach prawdziwych jest drukowanie. Pierwszy wiersz ( NR==1) jest zapisywany jako x. Ponieważ odbywa się to po sprawdzeniu, czy bieżąca linia pasuje x, zapewnia to, że pierwsza linia również zostanie wydrukowana.

AWK jest również całkiem przyzwoitym narzędziem do takich celów. Oto przykładowy kod:

$ awk 'NR == 1 {print} NR != 1 && $0!~/ID  Data1  Data2/' rmLines.txt | head -n 10                                
ID  Data1  Data2
1    100    100
     100    200
3    200    100
1    100    100
     100    200
3    200    100
1    100    100
     100    200
3    200    100

Podział :

• NR == 1 {print} każe nam wydrukować pierwszą linię pliku tekstowego
• NR != 1 && $0!~/ID Data1 Data2/ operator logiczny &&mówi AWK, aby wypisał wiersz, który nie jest równy 1 i nie zawiera ID Data1 Data2. Zwróć uwagę na brak{print} części; w awk, jeśli warunek testu zostanie oceniony jako prawdziwy, zakłada się, że wiersz zostanie wydrukowany.
• | head -n 10to tylko niewielki dodatek ograniczający wyjście do tylko pierwszych 10 linii. Nie dotyczy AWKsamej części, służy wyłącznie do celów demonstracyjnych.

Jeśli chcesz tego w pliku, przekieruj dane wyjściowe polecenia, dołączając je > newFile.txtna końcu polecenia, w następujący sposób:

awk 'NR == 1 {print} NR != 1 && $0!~/ID  Data1  Data2/' rmLines.txt > newFile.txt

Jak to wytrzymuje? Właściwie całkiem dobrze:

$ time awk 'NR == 1 {print} NR != 1 && $0!~/ID  Data1  Data2/' rmLines.txt > /dev/null                            
    0m3.60s real     0m3.53s user     0m0.06s system

Dygresja

Wygenerowany plik przykładowy został wykonany z zapętleniem od jednego do miliona i wydrukowaniem pierwszych czterech linii pliku (więc 4 linie razy milion równa się 4 milionom linii), co przy okazji zajęło 0,09 sekundy.

awk 'BEGIN{ for(i=1;i<=1000000;i++) printf("ID  Data1  Data2\n1    100    100\n     100    200\n3    200    100\n");  }' > rmLines.txt

Awk, automatycznie dostosowuje się do dowolnego nagłówka:

awk '( FNR == 1) {header=$0;print $0;}
     ( FNR > 1) && ($0 != header) { print $0;}'  file1  file2 ....

tzn. w pierwszym wierszu pobierz nagłówek i wydrukuj go, a następnie wydrukuj kolejny wiersz RÓŻNY z tego nagłówka.

FNR = liczba rekordów w bieżącym pliku, dzięki czemu możesz mieć wiele plików i tak samo zrobi w każdym z nich.

Dla kompletności rozwiązanie IMO w Perlu jest nieco bardziej eleganckie niż @terdon:

perl -i -p -e 's/^ID.*$//s if $. > 1' file

Po prostu odsuńmy się nieco od pytania ... wygląda na to, że twój wkład sam w sobie jest wynikiem połączenia kilku plików TSV razem. Jeśli możesz wykonać kopię zapasową kroku w procesie przetwarzania (jeśli jesteś jej właścicielem lub możesz porozmawiać z ludźmi, którzy to robią), możesz w pierwszej kolejności użyć narzędzia rozpoznającego nagłówek, aby połączyć dane, a tym samym usunąć problem z koniecznością usuń dodatkowe linie nagłówka.

Na przykład za pomocą Millera :

$ cat f1.tsv
ID  Data1 Data2
1 100 100
2 100 200
3 200 100
$ cat f2.tsv
ID  Data1 Data2
4 100 100
$ cat f3.tsv
ID  Data1 Data2
5 200 200

$ cat f1.tsv f2.tsv  f3.tsv
ID  Data1 Data2
1 100 100
2 100 200
3 200 100
ID  Data1 Data2
4 100 100
ID  Data1 Data2
5 200 200

$ mlr --tsvlite cat f1.tsv f2.tsv  f3.tsv
ID  Data1 Data2
1 100 100
2 100 200
3 200 100
4 100 100
5 200 200