Przekształcanie oddzielnych wierszy w listę rozdzielaną przecinkami z wpisami cytowanymi

Mam następujące dane (listę pakietów R przeanalizowanych z pliku Rmarkdown), które chcę przekształcić w listę, którą mogę przekazać do R, aby zainstalować:

d3heatmap
data.table
ggplot2
htmltools
htmlwidgets
metricsgraphics
networkD3
plotly
reshape2
scales
stringr

Chcę przekształcić listę w listę formularza:

'd3heatmap', 'data.table', 'ggplot2', 'htmltools', 'htmlwidgets', 'metricsgraphics', 'networkD3', 'plotly', 'reshape2', 'scales', 'stringr'

Obecnie mam potok bash, który przechodzi z surowego pliku na powyższą listę:

grep 'library(' Presentation.Rmd \
| grep -v '#' \
| cut -f2 -d\( \
| tr -d ')'  \
| sort | uniq

Chcę dodać krok, aby przekształcić nowe wiersze w listę rozdzielaną przecinkami. Próbowałem dodać tr '\n' '","', co się nie udaje. Próbowałem również kilka następujących odpowiedzi Przepełnienie stosu, które również nie powiodły się:

• /programming/1251999/how-can-i-replace-a-newline-n-using-sed

W library(stringr)))phics)rezultacie powstaje .

• /programming/10748453/replace-comma-with-newline-in-sed

W ,%rezultacie powstaje .

• Czy sed może zastąpić nowe znaki wiersza?

Ta odpowiedź (z -iusuniętą flagą) tworzy dane wyjściowe identyczne z danymi wejściowymi.

Możesz dodawać cudzysłowy za pomocą sed, a następnie scalać wiersze za pomocą wklejania :

sed 's/^\|$/"/g'|paste -sd, -

Jeśli korzystasz z systemu opartego na jądrach GNU (tj. Linux), możesz pominąć końcowe '-'.

Jeśli dane wejściowe mają zakończenia linii w stylu DOS (jak sugeruje @phk), możesz zmodyfikować polecenie w następujący sposób:

sed 's/\r//;s/^\|$/"/g'|paste -sd, -

awk 'BEGIN { ORS="" } { print p"'"'"'"$0"'"'"'"; p=", " } END { print "\n" }' /path/to/list

awk 'BEGIN { ORS="" } { print p"\047"$0"\047"; p=", " } END { print "\n" }' /path/to/list

'd3heatmap', 'data.table', 'ggplot2', 'htmltools', 'htmlwidgets', 'metricsgraphics', 'networkD3', 'plotly', 'reshape2', 'scales', 'stringr'

Sam awkskrypt bez ucieczki jest BEGIN { ORS="" } { print p"'"$0"'"; p=", " } END { print "\n" }. Po wydrukowaniu pierwszego wpisu zmienna pjest ustawiana (wcześniej jest jak pusty ciąg). Dzięki tej zmiennej pkażdy wpis (lub in- awkmów: rekord ) jest poprzedzany i dodatkowo drukowany z pojedynczymi cudzysłowami wokół niego. awkZmienna separator rekordów wyjściowych ORSnie jest potrzebne (od prefiks robi to za Ciebie), więc jest on ustawiony na pusty w BEGINING. Aha i możemy nasz plik ENDz nową linią (np. Dzięki czemu działa z dalszymi narzędziami do przetwarzania tekstu); jeśli nie będzie to potrzebne, część z ENDi wszystko po nim (wewnątrz pojedynczych cudzysłowów) można usunąć.

Jeśli masz zakończenia linii w stylu Windows / DOS ( \r\n), musisz je \nnajpierw przekonwertować na styl UNIX ( ). Aby to zrobić, możesz umieścić tr -d '\015'na początku swojego potoku:

tr -d '\015' < /path/to/input.list | awk […] > /path/to/output

(Zakładając, że \rw twoim pliku nie ma zastosowania dla s. Bardzo bezpieczne założenie tutaj.)

Alternatywnie, wystarczy dos2unix /path/to/input.listraz uruchomić, aby przekonwertować plik w miejscu.

Jak pokazuje połączona odpowiedź @ don_crissti , opcja wklejania graniczy z niewiarygodnie szybkim - potokowanie jądra Linuksa jest wydajniejsze, niż bym się spodziewał, gdybym go nie wypróbował. Co ciekawe, jeśli możesz być zadowolony z pojedynczego przecinka oddzielającego elementy listy zamiast przecinka + spacji, wklej potok

(paste -d\' /dev/null - /dev/null | paste -sd, -) <input

jest szybszy niż nawet rozsądny flexprogram (!)

%option 8bit main fast
%%
.*  { printf("'%s'",yytext); }
\n/(.|\n) { printf(", "); }

Ale jeśli tylko przyzwoita wydajność jest do zaakceptowania (a jeśli nie przeprowadzasz testu warunków skrajnych, nie będziesz w stanie zmierzyć różnic o stałym współczynniku, wszystkie są natychmiastowe) i chcesz zarówno elastyczności z separatorami, jak i rozsądnej -liner-y-ness,

sed "s/.*/'&'/;H;1h;"'$!d;x;s/\n/, /g'

jest twoim biletem. Tak, wygląda to na szum linii, ale H;1h;$!d;xidiom jest właściwym sposobem, aby wszystko zepsuć, gdy tylko zauważysz, że cała rzecz jest naprawdę łatwa do odczytania, po niej s/.*/'&'/następuje slurp i a s/\n/, /g.

edycja: granicząc z absurdem, dość łatwo jest wygrać, aby pokonać wszystko inne puste, po prostu powiedz stdio, że nie potrzebujesz wbudowanej synchronizacji wielowątkowości / obsługi sygnału:

%option 8bit main fast
%%
.+  { putchar_unlocked('\'');
      fwrite_unlocked(yytext,yyleng,1,stdout);
      putchar_unlocked('\''); }
\n/(.|\n) { fwrite_unlocked(", ",2,1,stdout); }

i pod wpływem stresu jest 2-3 razy szybszy niż rurociągi wklejane, które same są co najmniej 5 razy szybsze niż wszystko inne.

Perl

Python one-liner:

$ python -c "import sys; print ','.join([repr(l.strip()) for l in sys.stdin])" < input.txt                               
'd3heatmap','data.table','ggplot2','htmltools','htmlwidgets','metricsgraphics','networkD3','plotly','reshape2','scales','stringr'

Działa w prosty sposób - przekierowujemy input.txt na stdin za pomocą <operatora powłoki , odczytujemy każdy wiersz na liście, .strip()usuwając znaki nowego wiersza i repr()tworząc cytowaną reprezentację każdego wiersza. Lista jest następnie łączona w jeden duży ciąg za pomocą .join()funkcji, z ,separatorem

Alternatywnie możemy użyć +do połączenia cytatów z każdą linią pozbawioną linii.

 python -c "import sys;sq='\'';print ','.join([sq+l.strip()+sq for l in sys.stdin])" < input.txt

Perl

Zasadniczo taki sam pomysł jak poprzednio: odczytaj wszystkie wiersze, usuń znak nowej linii, umieść w pojedynczych cudzysłowach, umieść wszystko w tablicy @cvs i wydrukuj wartości tablic połączone przecinkami.

$ perl -ne 'chomp; $sq = "\047" ; push @cvs,"$sq$_$sq";END{ print join(",",@cvs)   }'  input.txt                        

„d3heatmap”, „data.table”, „ggplot2”, „htmltools”, „htmlwidgets”, „metricsgraphics”, „networkD3”, „plotly”, „reshape2”, „scales”, „stringr”

Myślę, że poniższe czynności powinny wystarczyć, zakładając, że dane znajdują się w tekście pliku

d3heatmap
data.table
ggplot2
htmltools
htmlwidgets
metricsgraphics
networkD3
plotly
reshape2
scales
stringr

Użyjmy tablic, które mają podstawienie na zimno:

#!/bin/bash
input=( $(cat text) ) 
output=( $(
for i in ${input[@]}
        do
        echo -ne "'$i',"
done
) )
output=${output:0:-1}
echo ${output//,/, }

Dane wyjściowe skryptu powinny wyglądać następująco:

'd3heatmap', 'data.table', 'ggplot2', 'htmltools', 'htmlwidgets', 'metricsgraphics', 'networkD3', 'plotly', 'reshape2', 'scales', 'stringr'

Wierzę, że tego właśnie szukałeś?

Często mam bardzo podobny scenariusz: kopiuję kolumnę z Excela i chcę przekonwertować zawartość na listę oddzieloną przecinkami (do późniejszego użycia w zapytaniu SQL, takim jak ... WHERE col_name IN <comma-separated-list-here>).

Oto, co mam w moim .bashrc:

function lbl {
    TMPFILE=$(mktemp)
    cat $1 > $TMPFILE
    dos2unix $TMPFILE
    (echo "("; cat $TMPFILE; echo ")") | tr '\n' ',' | sed -e 's/(,/(/' -e 's/,)/)/' -e 's/),/)/'
    rm $TMPFILE
}

Następnie uruchamiam lbl(„linia po linii”) na linii cmd, która czeka na dane wejściowe, wklejam zawartość ze schowka, naciśnij, <C-D>a funkcja zwraca dane otoczone (). Wygląda to tak:

$ lbl
1
2
3
dos2unix: converting file /tmp/tmp.OGM6UahLTE to Unix format ...
(1,2,3)

(Nie pamiętam, dlaczego umieściłem tutaj dos2unix, prawdopodobnie dlatego, że często powoduje to problemy w konfiguracji mojej firmy).

Niektóre wersje sed działają nieco inaczej, ale na moim Macu mogę obsłużyć wszystko oprócz „uniq” w sed:

sed -n -e '
# Skip commented library lines
/#/b
# Handle library lines
/library(/{
    # Replace line with just quoted filename and comma
    # Extra quoting is due to command-line use of a quote
    s/library(\([^)]*\))/'\''\1'\'', /
    # Exchange with hold, append new entry, remove the new-line
    x; G; s/\n//
    ${
        # If last line, remove trailing comma, print, quit
        s/, $//; p; b
    }
    # Save into hold
    x
}
${
    # Last line not library
    # Exchange with hold, remove trailing comma, print
    x; s/, $//; p
}
'

Niestety, aby naprawić unikalną część, musisz zrobić coś takiego:

grep library Presentation.md | sort -u | sed -n -e '...'

--Paweł

Zabawne, że aby użyć listy tekstowej R do zainstalowania ich w R, nikt nie zaproponował rozwiązania wykorzystującego tę listę bezpośrednio w R, ale walcz z bash, perl, python, awk, sed lub czymkolwiek innym, aby wstawić cudzysłowy i przecinki w lista. Nie jest to wcale konieczne, a ponadto nie rozwiązuje problemu wprowadzania i używania przekształconej listy w języku R.

Możesz po prostu załadować zwykły plik tekstowy (wspomniany packages.txt) jako ramkę danych z pojedynczą zmienną, którą możesz wyodrębnić jako wektor, bezpośrednio przez install.packages. Tak więc przekonwertuj go na przydatny obiekt R i zainstaluj tę listę:

df <- read.delim("packages.txt", header=F, strip.white=T, stringsAsFactors=F)
install.packages(df$V1)

Lub bez zewnętrznego pliku:

packages <-" 
d3heatmap
data.table
ggplot2
htmltools
htmlwidgets
metricsgraphics
networkD3
plotly
reshape2
scales
stringr
"
df <- read.delim(textConnection(packages), 
header=F, strip.white=T, stringsAsFactors=F)
install.packages(df$V1)