Używanie xargs z danymi wejściowymi z pliku

41

Powiedz, że mam plik z następującymi informacjami

bob
john
sue

Teraz te bezpośrednio corrospond do (w tym przypadku) wzór URL, takich jak http://example.com/persons/bob.tar, john.tar, sue.tar.

Chciałbym wziąć te linie i je przejrzeć xargs. Nie wiem jednak, co jest przekazywane do wykonywanego polecenia. Jak uzyskać dostęp do parametru albo z wiersza poleceń (powiedzmy, że chcę po prostu powtórzyć każdy wiersz jak cat file | xargs echo $PARAM) lub ze skryptu bash.

bash scripting xargs

— Josh K.
źródło

Przepraszam, nie podążam za pytaniem. W szczególności nie jestem pewien, co znaczy „nie wiem, co jest przekazywane do wykonywanego polecenia”

— Michael Mrozek

1

@Michael: Kiedy przeglądasz listę xargs, dzieli ją według linii i podaje każdą linię do polecenia, prawda? Jak uzyskać do niego dostęp, jeśli muszę coś powiedzieć cat file | xargs curl http://example.com/[PASSED FROM FILE].tar?

— Josh K

70

Odpowiedź Michaela jest słuszna i powinna rozwiązać twój problem. Bieganie

cat file | xargs -I % curl http://example.com/persons/%.tar

pobierze pliki bob.tar john.tar. sue.tarzgodnie z oczekiwaniami.

ALE : kot tutaj jest bezużyteczny

raczej użyj:

<file xargs -I % curl http://example.com/persons/%.tar

— Stefan
źródło

1

W moim przykładzie z jednym plikiem może to jednak nie być idealnecat xaa xab xac xad ... xargs ...

— Josh K

10

@Josh Z jakiegoś powodu ludzie bardzo poważnie traktują niepotrzebne użycie kota; Zostałem już dwukrotnie za nią oceniony

— Michael Mrozek

2

dla przypomnienia, masz ode mnie +1. Myślę, że używanie catjest w porządku, po prostu dodaj więcej informacji ... :)

— Stefan,

Z pewnością tak powinno być xargs -I % curl …( wcześniej opcja xargscurl i jej opcje / argumenty). Przynajmniej xargs curl -I %(gdzie -I %ma to być opcja xargs , a nie curl ) nie jest przenośny.

— Chris Johnsen,

@Chris, nice catch, tnx. naprawiony.

— Stefan

16

Myślę, że pytasz, jak wstawić poszczególne linie wyciągnięte ze xargs'stdin w środku polecenia, zamiast po prostu wklejać je zawsze na końcu. Jeśli tak, -Iflaga przyjmuje replacement-stringargument; xargszastąpi replacement-stringw poleceniu wiersz odczytany ze standardowego wejścia:

$ cat file | xargs -I foobar curl http://example.com/foobar.tar

— Michał Mrożek
źródło

Dobra, a co powiesz na curl http://example.com/foobar.tar > foobar.tar?

— Josh K

2

@Josh K: >to konstrukcja powłoki i nie będzie działać xargs. Z drugiej strony, curl -onapisze do nazwanego pliku zamiast standardowego wyjścia, tak jak to wgetrobi, więc prawdopodobnie tego właśnie chciałbyś użyć tutaj.

— ephemient

9

$ man xargs
...
       --arg-file = plik
       -plik
              Czytaj elementy z pliku zamiast standardowego wejścia. Jeśli tego użyjesz
              opcja stdin pozostaje niezmieniona po uruchomieniu poleceń. Inny-
              mądre, stdin jest przekierowywany z / dev / null.
...

Możesz także ustawić --delimiter=/ -dna '\n'.

Z drugiej strony, jeśli próbujesz po prostu zamienić każdą linię w pliku na adres URL,

$ sed -e 's #. * # http: //example.com/persons/&.tar#' plik

zrobi, a jeśli chcesz pobrać je wszystkie, po prostu włóż to do .| wget -i

— efemeryczny
źródło

8

inny sposób z zapętleniem powłoki:

for i in `cat file`; do curl -I http://foo.com/$i; done

możesz także uruchomić każdą iterację w tle, dodając &przed ostatnim średnikiem - w przypadku bardzo dużych pobrań może to być przydatne

— Brad Clawsie
źródło

2

Masz spadł na jeden z klasycznych błędów ! <- niedziałający link, tutaj jest buforowane wersja: Useless Zastosowanie nagrody Cat .

— Sorpigal,

@Sorpigal Ten adres URL jest uszkodzony. Co to jest „Classic Blunder”?

— starbeamrainbowlabs,

@starbeamrainbowlabs - bezużyteczne korzystanie z kota, umieściłem wersję tego linku w pamięci podręcznej w komentarzu powyżej.

— slm

@starbeamrainbowlabs: W szczególności łączyłem się z Niebezpiecznymi Backticksami , ale użycie kota jest również niepotrzebne, jeśli zmienisz konstrukcję na jakiś czas:while IFS= read i ; do curl ... ; done < file

— Sorpigal

3

Dzięki GNU Parallel możesz:

cat urls | parallel curl {} ">" {/}

Lub:

cat persons | parallel curl http://example.com/persons/{}.tar ">" {}.tar

Obejrzyj wideo wprowadzające do GNU Parallel, aby dowiedzieć się więcej: http://www.youtube.com/watch?v=OpaiGYxkSuQ

— Ole Tange
źródło

1

while read VAR; do ... done Pętla jest prosta, ale bardzo wszechstronna:

while read word; do wget http://example.com/persons/$word; done < file

— musiphil
źródło

0

To jest bardziej ogólna wersja odpowiedzi Stefana, ale używam awk w środku, aby przygotować dokładnie „ciąg”, który chciałbym wykonać xargs. A następnie xargs używa bash do wykonania „pracy”.

W tym przykładzie jest to trochę przesada, ale jest to ogólne rozwiązanie, które po pewnych modyfikacjach może rozwiązać wiele problemów ...

cat file | awk '{print "curl http://example.com/persons/"$1".tar"}' | xargs -0 bash -c

— Johan
źródło