Zamień listę w pojedynczy wiersz z separatorem

Muszę wziąć listę (obciążenia) adresów IP w tym formacie:

 134.27.128.0
 111.245.48.0
 109.21.244.0

i zamień je w ten format, umieszczając między nimi potok (utworzone adresy IP)

134.27.128.0 | 111.245.48.0 | 109.21.244.0 | 103.22.200.0/22

Myślę, że jest to polecenie znajdowania i zastępowania, sedale nie mogę go uruchomić.

Korzystanie sed, na podstawie Znani sed jednej wkładki Poradnik, część I: : 39. Dołącz linia do następnej, jeśli kończy się backslash „\” (z wyjątkiem tutaj ignorujemy część o ukośnik i załóż \nnowe linie Europejska wymagany |separator):

sed -e :a -e '$!N; s/\n/ | /; ta' mydoc > mydoc2

powinien produkować w mydoc2

134.27.128.0 |  111.245.48.0 |  109.21.244.0

Byłem ciekawy, jak niektóre z tych (+ niektóre alternatywy) działają szybko z dość dużym plikiem ( 163MiBjeden IPna linię, ~ 13 milionów linii):

wc -l < iplist
13144256

Wyniki ( sync; echo 3 > /proc/sys/vm/drop_cachespo każdym poleceniu; powtórzyłem testy - w odwrotnej kolejności - po kilku godzinach, ale różnice były znikome; zauważ też, że używam gnu sed):

steeldriver :
bardzo wolny. Przerwany po dwóch minutach oczekiwania ... więc nie ma dla niego żadnego wyniku.

cuonglm :

awk 'FNR!=1{print l}{l=$0};END{ORS="";print l}' ORS=' | ' iplist

real    0m3.672s

perl -pe 's/\n/ | / unless eof' iplist

real    0m12.444s

mikeserv :

paste -d\  /dev/null iplist /dev/null | paste -sd\| - 

real    0m0.983s

jthill :

sed 'H;1h;$!d;x;s/\n/ | /g' iplist

real    0m4.903s

Avinash Raj :

time python2.7 -c'
import sys
with open(sys.argv[1]) as f:
    print " | ".join(line.strip() for line in f)' iplist

real    0m3.434s

i

val0x00ff :

while read -r ip; do printf '%s | ' "$ip"; done < iplist

real    3m4.321s

które to środki 184.321s. Nic dziwnego, że jest to 200 razy wolniej niż rozwiązanie mikeserv .

Oto kilka innych sposobów korzystania z
awk:

awk '$1=$1' RS= OFS=' | ' iplist

real    0m4.543s

awk '{printf "%s%s",sep,$0,sep=" | "} END {print ""}' iplist

real    0m5.511s

perl:

perl -ple '$\=eof()?"\n":" | "' iplist

real    0m9.646s

xargs:

xargs <iplist printf ' | %s' | cut -c4-

real    0m6.326s

połączenie głowy + pasty + tr + kota:

{ head -n -1 | paste -d' |' - /dev/null /dev/null | tr \\n \ ; cat ; } <iplist

real    0m0.991s

Jeśli masz GNU coreutilsi jeśli twoja lista adresów IP nie jest naprawdę duża (powiedzmy do 50000 adresów IP), możesz to również zrobić za pomocą pr:

pr -$(wc -l infile) -tJS' | ' -W1000000 infile >outfile

gdzie

-$(wc -l infile)         # no. of columns (= with no. of lines in your file)
-t                       # omit page headers and trailers
-J                       # merge lines
-S' | '                  # separate columns by STRING
-W1000000                # set page width

np. dla pliku 6-liniowego:

134.28.128.0
111.245.28.0
109.245.24.0
128.27.88.0
122.245.48.0
103.44.204.0

Komenda:

pr -$(wc -l <infile) -tJS' | ' -W1000 infile

wyjścia:

134.28.128.0 | 111.245.28.0 | 109.245.24.0 | 128.27.88.0 | 122.245.48.0 | 103.44.204.0

Możesz użyć awk :

awk 'FNR!=1{print l}{l=$0};END{ORS="";print l}' ORS=' | ' file > new_file

ORS=' | 'ustaw separator rekordów wyjściowych na ' | 'zamiast nowego wiersza.

lub edytuj w miejscu za pomocą perl:

perl -pe 's/\n/ | / unless eof' file

Więc źle to wszystko zrozumiałem - i to pytanie wiele mnie nauczyło paste. Jak słusznie zauważa cuonglm, chyba że jesteś pastew erialnym pliku -s, zawsze \nskończysz w / ewline z listy infile dołączanej do wyjścia w miarę jego zapisywania. Myliłem się w przekonaniu, że paste -szachowanie było jego domyślnym trybem - i jest to nieporozumienie, które, jak się wydaje, z busybox pasteprzyjemnością umacnia. Następujące polecenie działa jak w reklamie busybox:

paste -d'|  ' - - infile </dev/null >outfile

Jednak nie działa zgodnie ze specyfikacją. Prawidłowo zaimplementowana pastenadal \ndołączałaby końcową ewline dla każdej zapisanej sekwencji. Mimo wszystko to nie jest wielka sprawa:

paste -d\  - infile - </dev/null | paste -sd\| - >outfile

jednowarstwowa z tr i sed:

cat file | tr '\n' '|' | sed 's/||$/\n/'
134.27.128.0|111.245.48.0|109.21.244.0

Wykorzystaj vim:

vim -n -u NONE -c '1,$-1s/\n/ | /g|wq!' data

Wyjaśnienie:

-n wyłącz plik wymiany

-u NONE służy do pominięcia wszystkich inicjalizacji.

-c {command} wykonać polecenia po odczytaniu pliku.

1,$-1s/\n/ | /gto s/\n/ | /g(zamień znak nowej linii spacją odstępu) dla zakresu 1,$-1s(od 1. linii do ostatniej linii - 1)

wq! wymuś pisanie i wyjście

Uwaga:

W zależności od tego, jak duży jest Twój plik, może to być zły pomysł.

Poprzez python.

$ python -c '
import sys
with open(sys.argv[1]) as f:
    print " | ".join(line.strip() for line in f)' file

przestrzenie wcześniej printbyły bardzo ważne.

Oto inny za pomocą xxd

xxd -c1 -ps data | sed '$!s/0a/207c20/' | xxd -r -ps

Dla kompletności, oto inne awkrozwiązanie oparte na tym, które ORSw ogóle nie używa :

awk 'BEGIN { ORS="" } { print p$0; p=" | " } END { print "\n" }' file > new_file

Aby uzyskać wyjaśnienie, zobacz mój post na /unix//a/338121/117599 .