Zamień ciąg zawierający znak nowej linii w dużym pliku

Czy ktoś wie o nieliniowym narzędziu służącym do „binarnego” wyszukiwania / zastępowania ciągów w sposób zapewniający oszczędność pamięci? Zobacz też to pytanie .

Mam plik tekstowy + 2 GB, który chciałbym przetworzyć podobnie do tego, co wygląda na to, że:

sed -e 's/>\n/>/g'

Oznacza to, że chcę usunąć wszystkie nowe wiersze, które występują po >, ale nigdzie indziej, więc to wyklucza tr -d.

To polecenie (otrzymane z odpowiedzi na podobne pytanie ) kończy się niepowodzeniem couldn't re-allocate memory:

sed --unbuffered ':a;N;$!ba;s/>\n/>/g'

Czy są jakieś inne metody bez uciekania się do C? Nienawidzę Perla, ale jestem gotów zrobić wyjątek w tym przypadku :-)

Nie wiem na pewno żadnego znaku, który nie występuje w danych, więc tymczasowe zastąpienie \ngo innym znakiem jest czymś, czego chciałbym uniknąć, jeśli to możliwe.

Jakieś dobre pomysły, ktoś?

To naprawdę jest banalne w Perlu, nie powinieneś tego nienawidzić!

perl -i.bak -pe 's/>\n/>/' file

Wyjaśnienie

• -i: edytuj plik na miejscu i utwórz kopię zapasową oryginału o nazwie file.bak. Jeśli nie chcesz kopii zapasowej, po prostu użyj jej perl -i -pe.
• -pe: odczytaj plik wejściowy linia po linii i wydrukuj każdą linię po zastosowaniu skryptu podanego jako -e.
• s/>\n/>/: podstawienie, tak jak sed.

A oto awkpodejście:

awk  '{if(/>$/){printf "%s",$0}else{print}}' file2 

perlRozwiązanie:

$ perl -pe 's/(?<=>)\n//'

Wyjaśnienie

• s/// służy do podstawienia łańcucha.
• (?<=>) jest wyglądający za wzór.
• \n pasuje do nowej linii.

Cały wzorzec znaczeń usuwa wszystkie znaki nowej linii, które miały >przed nim.

Co powiesz na to:

sed ':loop
  />$/ { N
    s/\n//
    b loop
  }' file

W przypadku GNU sed możesz również spróbować dodać opcję -u( --unbuffered) zgodnie z pytaniem. GNU sed jest również zadowolony z tego, że jest to prosta liniówka:

sed ':loop />$/ { N; s/\n//; b loop }' file

Powinieneś być w stanie używać sedz Npoleceniem, ale sztuczka polega na usunięciu jednej linii z obszaru wzorca za każdym razem, gdy dodajesz kolejny (tak, że obszar wzorca zawsze zawiera tylko 2 kolejne wiersze, zamiast próbować czytać w całości plik) - spróbuj

sed ':a;$!N;s/>\n/>/;P;D;ba'

EDIT: Po ponownym przeczytaniu Pēteris Krumins' Famous sed jednej wkładki Poradnik wierzę lepszym sedrozwiązaniem byłoby

sed -e :a -e '/>$/N; s/\n//; ta'

która dołącza tylko następującą linię w przypadku, gdy jest już >dopasowana na końcu i powinna warunkowo zapętlić się z powrotem, aby obsłużyć przypadek kolejnych pasujących linii (jest to Krumin 39. Dołącz linię do następnej, jeśli kończy się odwrotnym ukośnikiem „\” dokładnie z wyjątkiem zamiany >na \jako znak łączenia oraz faktu, że znak łączenia jest zachowany na wyjściu.

sednie zapewnia sposobu emitowania wyjścia bez końcowego nowego wiersza. Twoje podejście przy użyciu Nzasadniczo działa, ale zapisuje niekompletne linie w pamięci, a zatem może się nie powieść, jeśli linie staną się zbyt długie (implanty sed zwykle nie są zaprojektowane do obsługi bardzo długich linii).

Zamiast tego możesz użyć awk.

awk '{if (/<$/) printf "%s", $0; else print}'

Alternatywnym podejściem jest trzamiana znaku nowej linii na „nudny”, często występujący znak. Przestrzeń może tu działać - wybierz znak, który ma tendencję do pojawiania się w każdej linii lub co najmniej dużej części linii w twoich danych.

tr ' \n' '\n ' | sed 's/> />/g' | tr '\n ' ' \n'

co z używaniem ed?

ed -s test.txt <<< $'/fruits/s/apple/banana/g\nw'

(przez http://wiki.bash-hackers.org/howto/edit-ed )

Skończyło się na użyciu gsar, jak opisano w tej odpowiedzi w następujący sposób:

gsar -F '-s>:x0A' '-r>'

Jest na to wiele sposobów i większość z nich jest naprawdę dobra, ale myślę, że ten jest moim ulubionym:

tr '>\n' '\n>' | sed 's/^>*//;H;/./!d;x;y/\n>/>\n/'

Lub nawet:

tr '>\n' '\n>' | sed 's/^>*//' | tr '\n>' '>\n'