wget - narzędzie wiersza polecenia do pobierania treści w sposób nieinteraktywny (może być wywoływany ze skryptów, zadań cron, terminali bez obsługi X-Windows itp.)
Jeśli mam listę adresów URL oddzielonych \n, czy są jakieś opcje, które mogę przekazać, aby wgetpobrać wszystkie adresy URL i zapisać je w bieżącym katalogu, ale tylko wtedy, gdy pliki jeszcze nie istnieją?
wget ma taką opcję, -npktóra uniemożliwia pobieranie plików z dowolnego katalogu nadrzędnego. Potrzebuję czegoś podobnego, ale nieco bardziej elastycznego. Rozważać: www.foo.com/bar1/bar2/bar3/index.html Chciałbym uzyskać wszystko, ale nie „wyżej” (w hierarchii drzew) niż bar2(!). Dlatego bar2też należy je pobrać, ale nie należy bar1. Czy istnieje sposób na uczynienie wget bardziej selektywnym? Tło: …
Mamy skrypt, który pobiera zabezpieczenia mod z github, który niedawno zaczął się nie powieść. Na serwerach działa CentOS 6, ale RHEL 6 prawdopodobnie ma ten sam problem. Dane wyjściowe to: # wget https://github.com/downloads/SpiderLabs/ModSecurity/modsecurity-apache_2.7.1.tar.gz --2014-07-22 18:49:46-- https://github.com/downloads/SpiderLabs/ModSecurity/modsecurity-apache_2.7.1.tar.gz Resolving github.com... 192.30.252.129 Connecting to github.com|192.30.252.129|:443... connected. HTTP request sent, awaiting response... 302 Found …
Chciałbym zastosować tę poprawkę, więc skopiowałem kod zaczynający się od „Index: src / options.h” i kończący się na „+ @ item” i umieściłem go w nowym pliku utworzonym w wgetfolderze kodu źródłowego. Potem zrobiłem: $ patch -p0 < name_of_patch (Patch is indented 1 space.) patching file src/options.h patch: **** malformed …
Mam wgetduże pliki (ponad 100 GB), a następnie porównuję sumę md5 z sumą zaksięgowaną w repozytorium. Wierzcie lub nie, md5sumuruchomienie nieoczekiwanego czasu na pliku o tym rozmiarze, więc chciałbym uzyskać sumę równolegle z pobieraniem. Jak najlepiej to zrobić? Nie widzę wgetopcji, aby obliczyć MD5 podczas pobierania (co zaskakujące), więc myślę, …
Jestem całkiem nowy wget. Muszę tylko wiedzieć, jak ustawić folder docelowy, w którym zapisywane będą pobrane pliki. Wierzę, że tak jest --directory-prefix. Dziękuję Ci,
Piszę skrypt bash, który intensywnie wykorzystuje wget. Aby zdefiniować wszystkie wspólne parametry w jednym miejscu, przechowuję je w zmiennych. Oto fragment kodu: useragent='--user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0"' cookies_file="/tmp/wget-cookies.txt" save_cookies_cmd="--save-cookies $cookies_file --keep-session-cookies" load_cookies_cmd="--load-cookies $cookies_file --keep-session-cookies" function mywget { log "#!!!!!!!!!# WGET #!!!!!!!!!# wget $quiet $useragent $load_cookies_cmd $@" wget …
Próbuję pobrać plik przez HTTP z witryny internetowej przy użyciu wget. Kiedy używam: wget http://abc/geo/download/?acc=GSE48191&format=file Dostaję tylko plik o nazwie index.html?acc=GSE48191. Kiedy używam: wget http://abc/geo/download/?acc=GSE48191&format=file -o asd.rpm Rozumiem asd.rpm, ale chcę pobierać z rzeczywistą nazwą i nie chcę ręcznie zmieniać nazwy pobieranego pliku.
Pobieram stronę źródłową HTML witryny za pomocą cURLpolecenia. Problem polega na tym, że nie chcę większości treści na stronie. Potrzebuję tylko pierwszych 100 wierszy strony źródłowej. Czy istnieje sposób, aby zatrzymać pobieranie strony po kilku pierwszych wierszach? Obecnie mam poniższe polecenie działające, ale nie wydaje się to skuteczne czasowo. curl …
Wyobraź sobie coś takiego: $ curlsh http://www.example.org > GET /foo/bar/bam ...output here... > POST /thing/pool ... ... result here.... czy istnieje narzędzie, które pozwala mi to zrobić?
Używamy plików cookie i innych technologii śledzenia w celu poprawy komfortu przeglądania naszej witryny, aby wyświetlać spersonalizowane treści i ukierunkowane reklamy, analizować ruch w naszej witrynie, i zrozumieć, skąd pochodzą nasi goście.
Kontynuując, wyrażasz zgodę na korzystanie z plików cookie i innych technologii śledzenia oraz potwierdzasz, że masz co najmniej 16 lat lub zgodę rodzica lub opiekuna.