Czy wykonać polecenie raz na linię wejściową potoku?

Chcę raz uruchomić polecenie Java dla każdego dopasowania ls | grep pattern -. W tym przypadku myślę, że mógłbym to zrobić, find pattern -exec java MyProg '{}' \;ale ciekawi mnie ogólny przypadek - czy można łatwo powiedzieć „uruchom polecenie raz dla każdego wiersza standardowego wejścia”? (W rybach lub bash.)

Właśnie to xargsrobi.

... | xargs command

Przyjęte rozwiązanie ma rację, ale kluczowe jest, aby przejść xargsdo -n1przełącznika, co oznacza „Wykonaj polecenie po każdym wierszu wyjścia”

cat file... | xargs -n1 command

Lub, dla jednego pliku wejściowego, możesz catcałkowicie uniknąć potoku i po prostu przejść z:

<file xargs -n1 command

W Bash lub innej powłoce w stylu Bourne'a (jesion, ksh, zsh,…):

while read -r line; do command "$line"; done

read -rczyta pojedynczy wiersz ze standardowego wejścia ( readbez -rinterpretacji ukośników odwrotnych, nie chcesz tego). W ten sposób możesz wykonać jedną z następujących czynności:

$ command | while read -r line; do command "$line"; done  

$ while read -r line; do command "$line"; done <file

Zgadzam się z Keith, xargs jest najbardziej ogólnym narzędziem do tego zadania.

Zwykle stosuję podejście 3-etapowe.

• rób podstawowe rzeczy, aż będziesz mieć coś, z czym chciałbyś pracować
• przygotuj linię z awk, aby uzyskać poprawną składnię
• następnie niech xargs go wykona, być może przy pomocy bash.

Istnieją mniejsze i szybsze sposoby, ale te sposoby prawie zawsze działają.

Prosty przykład:

ls | 
grep xls | 
awk '{print "MyJavaProg --arg1 42 --arg2 "$1"\0"}' | 
xargs -0 bash -c

2 pierwsze linie wybierają niektóre pliki do pracy, a następnie awk przygotowuje ładny ciąg z poleceniem do wykonania i pewnymi argumentami, a $ 1 to pierwsza kolumna wejściowa z potoku. I wreszcie upewniam się, że xargs wysyła ten ciąg do bash, który po prostu go wykonuje.

To trochę przesada, ale ten przepis pomógł mi w wielu miejscach, ponieważ jest bardzo elastyczny.

GNU Parallel jest przeznaczony do tego rodzaju zadań. Najprostsze użycie to:

cat stuff | grep pattern | parallel java MyProg

Obejrzyj film wprowadzający, aby dowiedzieć się więcej: http://www.youtube.com/watch?v=OpaiGYxkSuQ

Ponadto, while readwłóż skorupkę ryby (zakładam, że chcesz skorupkę ryby, biorąc pod uwagę, że użyłeś etykiety rybnej ).

command | while read line
    command $line
end

Kilka punktów do odnotowania.

• readnie bierze -rargumentów i nie interpretuje ukośników odwrotnych, aby ułatwić najczęstsze przypadki użycia.
• Nie musisz cytować $line, ponieważ w przeciwieństwie do bash, ryby nie oddzielają zmiennych spacjami.
• commandsam w sobie jest błędem składniowym (aby złapać takie użycie argumentów zastępczych). Zamień go na prawdziwe polecenie.

Jeśli chcesz kontrolować, gdzie dokładnie argument wejściowy jest wstawiany do wiersza poleceń lub jeśli chcesz go powtórzyć kilka razy, musisz użyć xargs -I{}.

Utwórz pustą strukturę folderów, another_folderktóra odzwierciedla podfoldery w bieżącym katalogu:

    ls -1d ./*/ | xargs -I{} mkdir another_folder/{}

Zastosuj operację na liście plików pochodzących ze standardowego wejścia, w tym przypadku wykonaj kopię każdego .htmlpliku, dołączając .bakrozszerzenie:

    find . -iname "*.html" | xargs -I{} cp {} {}.bak

Ze strony podręcznika xargsdla MacOS / BSD :

 -I replstr
         Execute utility for each input line, replacing one or more occurrences of
         replstr in up to replacements (or 5 if no -R flag is specified) arguments
         to utility with the entire line of input.  The resulting arguments, after
         replacement is done, will not be allowed to grow beyond 255 bytes; this is
         implemented by concatenating as much of the argument containing replstr as
         possible, to the constructed arguments to utility, up to 255 bytes.  The
         255 byte limit does not apply to arguments to utility which do not contain
         replstr, and furthermore, no replacement will be done on utility itself.
         Implies -x.

Linux xargsstrona man :

   -I replace-str
          Replace  occurrences of replace-str in the initial-
          arguments with names read from standard input.  Al‐
          so,  unquoted  blanks do not terminate input items;
          instead the separator  is  the  newline  character.
          Implies -x and -L 1.

Kiedy mam do czynienia z potencjalnie niezaangażowanymi danymi wejściowymi, lubię widzieć, jak całe zadanie „pisze się” wiersz po wierszu do kontroli wizualnej, zanim go uruchomię (szczególnie, gdy jest to coś destrukcyjnego, jak czyszczenie skrzynek pocztowych ludzi).

Więc to, co robię, to wygenerowanie listy parametrów (tj. Nazw użytkowników), przesłanie jej do pliku w sposób jeden rekord na linię, jak poniżej:

johndoe  
jamessmith  
janebrown  

Następnie otwieram listę vimi zmieniam ją za pomocą wyszukiwania i zamieniam wyrażenia, aż otrzymam listę pełnych poleceń, które należy wykonać, w następujący sposób:

/bin/rm -fr /home/johndoe  
/bin/rm -fr /home/jamessmith 

W ten sposób, jeśli wyrażenie regularne jest niekompletne, zobaczysz, w jakim poleceniu wystąpią potencjalne problemy (tj. /bin/rm -fr johnnyo connor). W ten sposób możesz cofnąć wyrażenie regularne i spróbować ponownie, używając bardziej niezawodnej wersji. Zmiana nazwy jest znana z tego powodu, ponieważ ciężko jest zająć się wszystkimi przypadkowymi przypadkami, takimi jak Van Gogh, O'Connors, St. Clair, Smith-Wesson.

Mając set hlsearchjest przydatna w ten sposób vim, jak to podkreślają wszystkie mecze, więc można łatwo dostrzec, jeśli nie pasuje, lub mecze w niezamierzony sposób.

Gdy wyrażenie regularne jest idealne i obejmuje wszystkie przypadki, w których można przetestować / wymyślić, zwykle przekształcam je w wyrażenie sed, aby można je było w pełni zautomatyzować do kolejnego uruchomienia.

W przypadkach, w których liczba wierszy danych wejściowych uniemożliwia sprawdzenie wizualne, zdecydowanie polecam powtórzenie polecenia na ekranie (lub jeszcze lepiej w dzienniku) przed jego wykonaniem, więc jeśli wystąpi błąd, dokładnie wiesz, które polecenie spowodowało zawieść. Następnie możesz wrócić do pierwotnego wyrażenia regularnego i dostosować go jeszcze raz.

Jeśli program ignoruje potok, ale akceptuje pliki jako argumenty, możesz po prostu wskazać specjalny plik /dev/stdin.

Nie znam java, ale oto przykład, jak zrobiłbyś to dla bash:

$ echo $'pwd \n cd / \n pwd' |bash /dev/stdin
/home/rolf
/

$ Jest niezbędny, aby bash mógł zostać przetłumaczony \nna nowe linie. Nie jestem pewien dlaczego.

Wolę to - pozwalając na wieloliniowe polecenia i czysty kod

find -type f -name filenam-pattern* | while read -r F
do
  echo $F
  cat $F | grep 'some text'
done

ref https://stackoverflow.com/a/3891678/248616