Pobierz WSZYSTKIE foldery, podfoldery i pliki za pomocą Wget

Korzystam z Wget i napotkałem problem. Mam witrynę, która ma kilka folderów i podfolderów w witrynie. Muszę pobrać całą zawartość każdego folderu i podfolderu. Wypróbowałem kilka metod przy użyciu Wget, a kiedy sprawdzam zakończenie, wszystko, co widzę w folderach, to plik „indeksu”. Mogę kliknąć plik indeksu, a to zabierze mnie do plików, ale potrzebuję rzeczywistych plików.

czy ktoś ma polecenie Wget, które przeoczyłem, czy jest inny program, którego mógłbym użyć, aby uzyskać wszystkie te informacje?

przykład strony:

www.mysite.com/Pictures/ na zdjęciach DIr, istnieje kilka folderów .....

www.mysite.com/Pictures/Accounting/

www.mysite.com/Pictures/Managers/North America / California / JoeUser.jpg

Potrzebuję wszystkich plików, folderów itp ...

wget

— Horrid Henry
źródło

Czy zapoznałeś się z dokumentacją wgetdotyczącą korzystania z niej rekurencyjnie ?

— Mojżesz

W dokumentacji znajduje się również artykuł , który wydaje się odpowiedni.

— Mojżesz

Odpowiedzi:

Chcę założyć, że nie próbowałeś tego:

wget -r --no-parent http://www.mysite.com/Pictures/

lub w celu pobrania zawartości bez pobierania plików „index.html”:

wget -r --no-parent --reject "index.html *" http://www.mysite.com/Pictures/

Odniesienie: Używanie wget do rekurencyjnego pobierania katalogu zawierającego dowolne pliki

— Felix Imafidon
źródło

Dzięki, uruchomiłem to polecenie kilka razy, ale nie pozwoliłem, aby polecenie zakończyło się do końca. Zostałem śledzony z boku i pozwoliłem, by polecenie faktycznie się zakończyło, i najpierw skopiowało WSZYSTKIE foldery, potem wróciło i skopiowało WSZYSTKIE pliki do folderu.

— Horrid Henry

po prostu chce ci pokazać, gdybym miał cierpliwość, zrobiłbym to 2 tygodnie temu .... LOL. :) dzięki jeszcze raz.

— Horrid Henry

@Horrid Henry, Gratulacje!

— Felix Imafidon,

Korzystam z podobnego polecenia, ale otrzymuję tylko plik index.html!

— shenkwen

używam wget -rkpN -e robots=off http://www.example.com/

-r oznacza rekurencyjnie

-koznacza konwersję linków. Więc linki na stronie będą localhost zamiast example.com/bla

-p oznacza pozyskanie wszystkich zasobów strony internetowej, aby uzyskać obrazy i pliki javascript, aby strona działała poprawnie.

-N jest pobieranie znaczników czasu, więc jeśli pliki lokalne są nowsze niż pliki w zdalnej witrynie, pomiń je.

-eto opcja flagi, która musi tam być, robots=offaby działać.

robots=off oznacza zignoruj plik robota.

Miałem również -cw tym poleceniu, więc jeśli połączenie zostało przerwane, jeśli będzie kontynuowane tam, gdzie zostało przerwane, gdy ponownie uruchomię polecenie. Uznałem, że -Nbędzie dobrze-c

— Tim Jonas
źródło

Czy możesz dodać kilka zdań do swojej odpowiedzi, aby wyjaśnić, co robią te ustawienia parametrów?

— fixer1234

Przepraszam. na pewno źle je teraz dodam

— Tim Jonas,

Zaktualizowałem swoją odpowiedź

— Tim Jonas,

Dzięki. Czy więc -c powinno być częścią twojego polecenia lub dodane opcjonalnie po niepełnym pobraniu? Ponadto -e jest tak, że polecenie ma pierwszeństwo przed wszystkimi, które mogą być w .wgetrc? I czy to literówka na -r (rekurencyjne vs. samotne)?

— fixer1234

Tak to jest poprawne. Tak -e, wykona polecenie tak, jakby było częścią .wgetrc. Dodałem go tam, ponieważ robots=offwydaje się, że nie działałoby bez niego.

— Tim Jonas,

wget -m -A * -pk -e robots = off www.mysite.com/ spowoduje to pobranie wszystkich typów plików lokalnie i wskazanie ich z pliku html
oraz zignorowanie pliku robota

— Abdalla Mohamed Aly Ibrahim
źródło