Chcę pobrać całą stronę internetową za pomocą wget, ale nie chcę, aby wget pobierał zdjęcia, filmy itp.
próbowałem
wget -bqre robots=off -A.html example.com –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6″
ale kiedy to robię, nie pobiera plików .php, po prostu pobiera statyczne pliki .html.
Czy istnieje rozwiązanie tego problemu z wget?
Odpowiedzi:
Wyraźnie powiedziałeś wgetowi, aby akceptuje tylko pliki, które mają .htmlsufiks.
Zakładając, że mają strony php .php, możesz to zrobić:
wget -bqre robots=off -A.html,.php example.com –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6″
Zauważ, że spowoduje to pobranie renderowanego html, a nie źródła php. Jeśli strona jest wystarczająco dynamiczna, możesz nie uzyskać oczekiwanego wyniku renderowania.
Sugeruję jednak, że inne narzędzie, takie jak httrack, może wykonać lepszą pracę - zależy to dokładnie od tego, co musisz zrobić.
-A pobiera listę, więc -A.html, .php powinno pasować do rachunku. Powinieneś także zajrzeć do -R (wymaga to także listy odrzuconych).
Tak, jest i jest to całkiem proste. Spójrz na tę SO odpowiedź: /superuser/709702/how-to-crawl-using-wget-to-download-only-html-files-ignore-images-css-js
tl / dr; użyj, --follow-tags=aktóra będzie śledzić tylko atagi.