Prześlij wyjście cat do cURL, aby pobrać listę plików

Mam listę adresów URL w pliku o nazwie urls.txt. Każda linia zawiera 1 adres URL. Chcę pobrać wszystkie pliki naraz, używając cURL. Wydaje się, że nie mogę zejść z właściwą linijką.

Próbowałem:

$ cat urls.txt | xargs -0 curl -O

Ale to daje mi tylko ostatni plik na liście.

To działa dla mnie:

$ xargs -n 1 curl -O < urls.txt

Jestem we FreeBSD. Twoje xargs mogą działać inaczej.

Zauważ, że działa to sekwencyjnie curl, które możesz uznać za niepotrzebnie ciężkie. Jeśli chcesz zaoszczędzić trochę tego narzutu, poniższe mogą działać w bashu:

$ mapfile -t urls < urls.txt
$ curl ${urls[@]/#/-O }

Spowoduje to zapisanie listy adresów URL w tablicy, a następnie rozszerzenie tablicy z opcjami, curlaby spowodować pobranie celów. curlKomenda może trwać wiele adresów URL i pobrać wszystkie z nich, recykling istniejącego połączenia (HTTP / 1.1), ale potrzebuje -Oopcji przed każdym z nich, aby pobrać i zapisać każdy cel. Zwróć uwagę, że znaki w niektórych adresach URL] mogą wymagać zmiany znaczenia, aby uniknąć interakcji z powłoką.

Lub jeśli używasz powłoki POSIX zamiast bash:

$ curl $(printf ' -O %s' $(cat urls.txt))

Zależy to od printfzachowania polegającego na powtarzaniu wzorca formatu w celu wyczerpania listy argumentów danych; nie wszystkie samodzielne komputery printfto zrobią.

Zwróć uwagę, że ta metoda inna niż xargs może również wpływać na ograniczenia systemu w przypadku bardzo dużych list adresów URL. Badania ARG_MAX i MAX_ARG_STRLEN jeśli jest to problemem.

Bardzo proste rozwiązanie byłoby następujące: Jeśli masz plik „file.txt” taki jak

url="http://www.google.de"
url="http://www.yahoo.de"
url="http://www.bing.de"

Następnie możesz użyć curl i po prostu to zrobić

curl -K file.txt

A curl będzie wywoływać wszystkie adresy URL zawarte w pliku file.txt!

Więc jeśli masz kontrolę nad formatem pliku wejściowego, być może jest to najprostsze rozwiązanie dla Ciebie!

Lub możesz po prostu zrobić to:

cat urls.txt | xargs curl -O

Tego -Iparametru potrzebujesz tylko wtedy, gdy chcesz wstawić wyjście cat w środku polecenia.

xargs -P 10 | curl

GNU xargs -Pmoże curlrównolegle uruchamiać wiele procesów. Np. Do uruchamiania 10procesów:

xargs -P 10 -n 1 curl -O < urls.txt

Spowoduje to 10-krotne przyspieszenie pobierania, jeśli maksymalna prędkość pobierania nie zostanie osiągnięta i jeśli serwer nie ogranicza adresów IP, co jest najczęstszym scenariuszem.

Po prostu nie ustawiaj -P zbyt wysoko, bo twoja pamięć RAM może być przeciążona.

GNU parallelmoże osiągnąć podobne rezultaty.

Wadą tych metod jest to, że nie używają one jednego połączenia dla wszystkich plików, co curldzieje się, jeśli przekażesz do niego wiele adresów URL jednocześnie, jak w:

curl -O out1.txt http://exmple.com/1 -O out2.txt http://exmple.com/2

jak wspomniano na /server/199434/how-do-i-make-curl-use-keepalive-from-the-command-line

Może połączenie obu metod dałoby najlepsze rezultaty? Ale wyobrażam sobie, że równoległość jest ważniejsza niż utrzymanie połączenia.

Zobacz też: Pobieranie równoległe za pomocą narzędzia wiersza poleceń Curl

Oto jak to robię na Macu (OSX), ale powinno działać równie dobrze na innych systemach:

Potrzebujesz pliku tekstowego zawierającego linki do curl

tak jak:

    http://www.site1.com/subdirectory/file1-[01-15].jpg
    http://www.site1.com/subdirectory/file2-[01-15].jpg
    .
    .
    http://www.site1.com/subdirectory/file3287-[01-15].jpg

W tym hipotetycznym przypadku plik tekstowy ma 3287 linii, a każda linia koduje 15 obrazów.

Powiedzmy, że zapisujemy te linki w pliku tekstowym o nazwie testcurl.txt na najwyższym poziomie (/) naszego dysku twardego.

Teraz musimy wejść do terminala i wprowadzić następujące polecenie w powłoce bash:

    for i in "`cat /testcurl.txt`" ; do curl -O "$i" ; done

Upewnij się, że używasz back ticków (`) Upewnij się także, że flaga (-O) jest wielką literą O a NIE zerem

z flagą -O zostanie przyjęta oryginalna nazwa pliku

Miłego pobierania!

Jak słusznie wspomnieli inni:

-cat urls.txt | xargs -0 curl -O
+cat urls.txt | xargs -n1 curl -O

Jednak ten paradygmat jest bardzo złym pomysłem, zwłaszcza jeśli wszystkie adresy URL pochodzą z tego samego serwera - nie tylko utworzysz kolejną instancję curl, ale także utworzysz nowe połączenie TCP dla każdego żądania, które jest wysoce nieefektywny, a tym bardziej w przypadku wszechobecnego HTTPS.

Użyj tego zamiast tego:

-cat urls.txt | xargs -n1 curl -O
+cat urls.txt | wget -i/dev/fd/0

Lub jeszcze prościej:

-cat urls.txt | wget -i/dev/fd/0
+wget -i/dev/fd/0 < urls.txt

Najprostsze jeszcze:

-wget -i/dev/fd/0 < urls.txt
+wget -iurls.txt