Unix & Linux wget

2

Równoległe uruchamianie tysięcy procesów zwijania w tle w skrypcie bash

Korzystam z tysięcy procesów zwijania w tle równolegle w następującym skrypcie bash START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done Mam serwer dedykowany 49Gb Corei7-920 (nie wirtualny). Śledzę zużycie pamięci i procesora za …

14 linux performance bash curl wget

2

Dlaczego mój wget nie umarł po utracie połączenia ssh?

I sshed do mojego serwera i pobiegł wget -r -np zzz.aaa/bbb/ccci zaczęło działać. Potem moje połączenie internetowe (w moim domu) zostało przerwane i zaczęłam się martwić, zakładając, że wgetzostało to przerwane, hupponieważ sshpołączenie zostało utracone, a zatem terminal umarł. Ale potem zdałem sshsobie sprawę, że mój serwer nadal działa i …

13 ssh terminal wget signals

2

Zignorować „inne” domeny podczas pobierania za pomocą wget?

Chciałbym indeksować linki pod www.website.com/XYZ i pobierać tylko te linki, które znajdują się pod www.website.com/ABC. Używam następującego polecenia wget, aby uzyskać potrzebne pliki: wget -I ABC -r -e robots=off --wait 0.25 http://www.website.com/XYZ Działa to doskonale, gdy używam wget 1.13.4. Ale problem polega na tym, że muszę użyć tego polecenia na …

13 command-line wget

4

Jak mogę ograniczyć rozmiar pobieranego pliku we wget?

Chcę używać wget(ze skryptu php) do pobierania plików obrazów, ale nie chcę pobierać plików o określonym rozmiarze. Czy mogę ograniczyć rozmiar pliku wget? Jeśli nie, jaki jest lepszy sposób?

13 files wget size

2

Czy istnieje metoda wiersza polecenia, za pomocą której mogę sprawdzić, czy pobrany plik jest kompletny czy uszkodzony?

Piszę skrypt, który wymaga pobrania i manipulowania plikiem, i chcę się upewnić, że plik nie jest niekompletny (z powodu np. Zerwanego połączenia) przed rozpoczęciem pracy.

13 files wget curl download corruption

2

Alternatywy dla wget

Mam witrynę na serwerze, która jest w zasadzie zbiorem stron HTML, obrazów i dźwięków. Zgubiłem hasło do tego serwera i muszę pobrać wszystko, co tam jest przechowywane. Mogę przeglądać strony po stronie i zapisywać wszystko, ale strona ma ponad 100 stron. Używam OSX. Próbowałem użyć, wgetale myślę, że serwer to …

13 wget

1

Jak obejść brakujące „ostatnio zmodyfikowane” nagłówki?

Biegam wgettak: wget --mirror --adjust-extension --convert-links --no-cookies http://tshepang.net -o log-main Dostaję kilka takich wiadomości: Last-modified header missing -- time-stamps turned off. Podejrzewam, że oznacza to, że strony są pobierane ponownie, mimo że mam je lokalnie. UWAGA : Chcę tego, aby nie musiałem ponownie pobierać istniejących plików za każdym razem, gdy …

13 wget web

2

Wget zwraca plik binarny zamiast HTML?

Korzystam z wget, aby pobrać statyczną stronę HTML. W3C Validator mówi mi, że strona jest zakodowana w UTF-8. Kiedy jednak cat pobiera plik po pobraniu, dostaję binarne bzdury. Jestem na Ubuntu i myślałem, że domyślnym kodowaniem jest UTF-8? Tak właśnie wygląda mój plik ustawień regionalnych. Dlaczego tak się dzieje i …

12 wget character-encoding gzip http

2

Wget: konwersja linków i unikanie ponownego pobierania już pobranych plików?

Pobieram dane rozproszone wśród wielu plików, które nie zmieniają się po opublikowaniu. Dlatego --timestampingnie jest wystarczająco dobry, ponieważ stale sprawdza, który zasób jest zmieniany, co w moim przypadku jest całkowicie bezcelowe. --no-clobberpasuje idealnie. Niestety z --convert-links jakiegoś powodu nie działa . Podano zarówno --no-clobber, jak i --convert-links, zostaną użyte tylko …

12 wget download

5

Zapisuj wyjście wget lub curl do niestandardowej nazwy pliku na podstawie adresu URL

Na przykład mam link http://www.abc.com/123/def/ghi/jkl.mno. Chcę go pobrać za pomocą wgetlub curli uzyskać nazwę pliku wyjściowego as def_ghi_jkl.mno, skąd część def_ghipochodzi z łącza. Umieszczę to wgetpolecenie w skrypcie, aby pobrać wiele plików, aby nie mogło jawnie podawać nazwy pliku wyjściowego.

12 filenames wget curl

3

montowanie Dropbox (do przeglądania plików)

Chcę po prostu móc eksplorować system plików Dropbox, bez dodatkowego obciążenia procesora, pamięci, pamięci (tj. Bez lokalnego zapisywania kopii plików zdalnych). Wygląda na to, że oficjalny klient zużywa dużo zasobów (i wykonywałby niepotrzebne operacje, takie jak synchronizacja) - http://www.lowendtalk.com/discussion/3179/dropbox-memory-usage-on-linux . Można po prostu zamontować go (powiedzmy, z bezpiecznikiem, a bez …

12 wget fuse dropbox hosting-services protocols

5

Jak zatrzymać „wget” po otrzymaniu 404?

Jeśli używasz rozszerzenia nawiasów klamrowych wget, możesz z łatwością pobierać obrazy o numerach sekwencyjnych: $ wget 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg' Pobiera pierwsze 10 plików ponumerowanych, 90.jpgaby w 99.jpgporządku, ale 100.jpgpotem zwraca błąd 404: Nie znaleziono pliku (mam tylko 100 obrazów zapisanych na serwerze). Te nieistniejące pliki stają się bardziej „problemem”, jeśli użyjesz większego …

12 bash shell-script wget

2

Co to jest „artykuł z 2001 roku” na temat blokowania „automatycznych programów do pobierania”, do którego odwołuje się strona man wget?

wgetStrona człowiek stwierdza to, w sekcji dla --random-waitparametru: Some web sites may perform log analysis to identify retrieval programs such as Wget by looking for statistically significant similarities in the time between requests. [...] A 2001 article in a publication devoted to development on a popular consumer platform provided code …

11 wget man documentation

1

Wget, przerwij ponawianie po awarii lub przekroczeniu limitu czasu

Dzwonię na adres URL za pomocą wget: /usr/bin/wget --read-timeout=7200 https://site_url/s Wget w tym przypadku wykonuje żądanie GET co 15 minut, pomimo ustawionego limitu czasu, dlaczego tak się dzieje? Połączenie powinno być wykonane tylko raz, jak mogę ustawić wget na NIE Ponawiać? Wiem, że możesz ustawić, t=nale 0 jest nieskończone, a …

11 linux rhel wget

3

Jak używać wget do pobierania z witryn hostingowych?

wget jest bardzo przydatnym narzędziem do szybkiego pobierania rzeczy w Internecie, ale czy mogę go używać do pobierania z witryn hostingowych, takich jak FreakShare, IFile.it Depositfiles, przesłane, Rapidshare? Jeśli tak, jak mogę to zrobić?

11 wget download hosting-services

Pytania otagowane jako wget