Jak mogę pobrać wszystkie strony ze strony internetowej?

Każda platforma jest w porządku.

HTTRACK działa jak mistrz do kopiowania zawartości całej witryny. To narzędzie może nawet pobierać elementy potrzebne do tego, aby strona z aktywną zawartością kodu działała offline. Dziwi mnie rzeczy, które można replikować offline.

Ten program zrobi wszystko, czego potrzebujesz.

Pomyślnych łowów!

Wget to klasyczne narzędzie wiersza polecenia do tego rodzaju zadań. Jest dostarczany z większością systemów Unix / Linux i można go również uzyskać dla systemu Windows . Na komputerze Mac Homebrew jest najprostszym sposobem na jego zainstalowanie ( brew install wget).

Zrobiłbyś coś takiego:

wget -r --no-parent http://site.com/songs/

Aby uzyskać więcej informacji, zobacz Podręcznik Wget i jego przykłady lub np .:

• wget: Łatwe pobieranie całych stron internetowych

• Przykłady i skrypty Wget

Użyj wget:

wget -m -p -E -k www.example.com

Opcje wyjaśnione:

-m, --mirror            Turns on recursion and time-stamping, sets infinite 
                          recursion depth, and keeps FTP directory listings.
-p, --page-requisites   Get all images, etc. needed to display HTML page.
-E, --adjust-extension  Save HTML/CSS files with .html/.css extensions.
-k, --convert-links     Make links in downloaded HTML point to local files.

Powinieneś spojrzeć na ScrapBook , rozszerzenie Firefox. Ma dogłębny tryb przechwytywania .

Internet Download Manager ma narzędzie Site Grabber z wieloma opcjami - które pozwala całkowicie pobrać dowolną stronę internetową, tak jak chcesz.

1. Możesz ustawić limit rozmiaru stron / plików do pobrania

2. Możesz ustawić liczbę witryn oddziałów do odwiedzenia

3. Możesz zmienić sposób działania skryptów / wyskakujących okienek / duplikatów

4. Możesz określić domenę, tylko w tej domenie zostaną pobrane wszystkie strony / pliki spełniające wymagane ustawienia

5. Łącza można konwertować na łącza offline do przeglądania

6. Masz szablony, które pozwalają wybrać dla siebie powyższe ustawienia

Oprogramowanie nie jest jednak darmowe - sprawdź, czy odpowiada Twoim potrzebom, skorzystaj z wersji ewaluacyjnej.

itsucks - tak nazywa się program!

Zajmę się buforowaniem online używanym przez przeglądarki ...

Zazwyczaj większość przeglądarek używa pamięci podręcznej przeglądania, aby utrzymywać pliki pobierane ze strony internetowej przez pewien czas, dzięki czemu nie trzeba pobierać obrazów statycznych i treści w kółko. W niektórych okolicznościach może to nieco przyspieszyć. Ogólnie rzecz biorąc, większość pamięci podręcznych przeglądarki jest ograniczona do ustalonego rozmiaru, a gdy osiągnie ten limit, usunie najstarsze pliki w pamięci podręcznej.

Dostawcy usług internetowych zazwyczaj mają serwery buforujące, które przechowują kopie często używanych witryn, takich jak ESPN i CNN. To oszczędza im kłopotów z odwiedzaniem tych stron za każdym razem, gdy ktoś w ich sieci tam trafi. Może to oznaczać znaczne oszczędności w ilości zduplikowanych żądań kierowanych do zewnętrznych stron do dostawcy usług internetowych.

Lubię Offline Explorer .
Jest to shareware, ale jest bardzo dobry i łatwy w użyciu.

WebZip to także dobry produkt.

Nie robiłem tego od wielu lat, ale wciąż istnieje kilka narzędzi. Możesz spróbować Web Snake . Myślę, że korzystałem z niego lata temu. Od razu przypomniałem sobie tę nazwę, kiedy przeczytałem twoje pytanie.

Zgadzam się ze Stecy. Proszę nie młotkować ich strony. Bardzo źle.

Wypróbuj przeglądarkę BackStreet .

Jest to darmowa, potężna przeglądarka offline. Szybki, wielowątkowy program do pobierania i przeglądania stron internetowych. Dokonując wielu równoczesnych żądań serwera, BackStreet Browser może szybko pobrać całą stronę internetową lub jej część, w tym HTML, grafikę, aplety Java, pliki dźwiękowe i inne pliki definiowane przez użytkownika, a także zapisuje wszystkie pliki na dysku twardym w ich macierzystym formacie, lub jako skompresowany plik ZIP i przeglądaj offline.

Teleport Pro to kolejne bezpłatne rozwiązanie, które kopiuje wszystkie pliki z dowolnego celu (ma również płatną wersję, która pozwala pobrać więcej stron treści).

DownThemAll to dodatek do Firefoksa, który jednym kliknięciem pobiera całą zawartość (na przykład pliki audio lub wideo) dla określonej strony internetowej. To nie pobiera całej witryny, ale może to być coś, czego szukało pytanie.

Dla systemów Linux i OS X: Napisałem grab-site do archiwizacji całych stron do plików WARC . Te pliki WARC można przeglądać lub rozpakowywać. grab-site pozwala kontrolować, które adresy URL mają być pomijane za pomocą wyrażeń regularnych, które można zmienić podczas działania przeszukiwania. Zawiera także szeroki zestaw domyślnych opcji ignorowania niepotrzebnych adresów URL.

Dostępny jest internetowy pulpit nawigacyjny do monitorowania indeksowania, a także dodatkowe opcje pomijania treści wideo lub odpowiedzi powyżej określonego rozmiaru.

Power Wget

Chociaż wget był już wspomniany o tym zasobie i wiersz poleceń był tak płynny, myślałem, że zasługuje na wzmiankę: wget -P /path/to/destination/directory/ -mpck --user-agent="" -e robots=off --wait 1 -E https://www.example.com/

Zobacz ten kod objaśniony w wyjaśnieniu

Czcigodny FreeDownloadManager.org ma również tę funkcję.

Free Download Manager ma go w dwóch postaciach w dwóch formach: Site Explorer i Site Spider :

Site Explorer
Site Explorer umożliwia przeglądanie struktury folderów witryny internetowej i łatwe pobieranie niezbędnych plików lub folderów.
HTML Spider
Możesz pobrać całe strony internetowe, a nawet całe strony internetowe za pomocą HTML Spider. Narzędzie można dostosować do pobierania plików tylko z określonymi rozszerzeniami.

Uważam, że Site Explorer jest przydatny, aby sprawdzić, które foldery należy uwzględnić / wykluczyć przed próbą pobrania całej witryny - szczególnie gdy na stronie ukrywa się całe forum, którego nie chcesz na przykład pobierać.

pobierz HTTracker pobierze strony internetowe bardzo proste kroki do naśladowania.

link do pobrania: http://www.httrack.com/page/2/

wideo, które może ci pomóc: https://www.youtube.com/watch?v=7IHIGf6lcL4

Firefox może to zrobić natywnie (przynajmniej FF 42 może). Wystarczy użyć „Zapisz stronę”

Wierzę, że Google Chrome może to zrobić na urządzeniach stacjonarnych, po prostu przejdź do menu przeglądarki i kliknij Zapisz stronę internetową.

Należy również pamiętać, że usługi takie jak kieszeń mogą nie zapisywać strony internetowej, a zatem są podatne na zgniliznę linków.

Na koniec zauważ, że kopiowanie zawartości strony internetowej może naruszać prawa autorskie, jeśli ma to zastosowanie.