Jak mogę zaimportować kilka adresów URL do wget?

1

Używam następującego kodu, aby pobrać „example1.com” z Windows. Jednak ten kod jest ograniczony tylko do jednego adresu URL.

Czy można zaimportować plik txt zawierający kilka adresów URL?

wget -erobots=off --no-parent --wait=3 --limit-rate=20K -r -p -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)" -A htm,html,css,js,json,gif,jpeg,jpg,bmp http://example1.com

wget url

— Si14
źródło

Możesz napisać sam skrypt wsadowy, który czyta plik txt i wywołuje wget dla każdej linii. Naprawdę nie wiem o skrypcie wsadowym, ponieważ jestem bardziej facetem od Linuksa ;-)

— André Stannek

3

Znalazłem najprostszy sposób: wgetma polecenie importowania linków z pliku tekstowego.

wget -i mylist.txt

— Si14
źródło

0

Możesz to zrobić za pomocą bash , instalator Windows można znaleźć tutaj (gdy zostaniesz poproszony o instalację składników, wybierz tylko MSYS), w systemie Linux prawdopodobnie masz go jako domyślny interpreter wiersza poleceń, więc po prostu uruchom emulator konsoli i jesteś gotowy do pracy . Aby uruchomić go w systemie Windows, otwórz C:\MinGW\msys\1.0\msys.bat.

Załóżmy, że twoja baza URL jest wywoływana db.txti ma każdy adres w osobnym wierszu, bez spacji. Następnie polecenie uruchomienia wgetdla każdego adresu będzie następujące:

for line in `cat db.txt`; do wget -erobots=off --no-parent --wait=3 --limit-rate=20K -r -p -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)" -A htm,html,css,js,json,gif,jpeg,jpg,bmp $line; done

Zauważ, że użyłem znaków akcentujących (tych po lewej stronie 1przycisku), a nie aphostrophes. Przed uruchomieniem tego polecenia musisz zmienić katalog na folder, w którym znajduje się plik:

cd /home/YourUsername

— gronostaj
źródło