Pobierz wszystkie linki PDF ze strony internetowej? [Zamknięte]

23

Czy znasz dobre oprogramowanie do pobierania wszystkich łączy PDF na stronie internetowej?

System operacyjny to Windows 7.

— pytam
źródło

36

Możesz użyć wget i uruchomić następującą komendę:

wget --recursive --level=1 --no-directories --no-host-directories --accept pdf http://example.com

Lub z krótkimi opcjami:

wget -r -l 1 -nd -nH -A pdf http://example.com

AKTUALIZACJA: Ponieważ aktualizacja mówi, że korzystasz z systemu Windows 7: użyj wget dla systemu Windows z cmdmonitu.

AKTUALIZACJA 2: Dla rozwiązania graficznego - choć może to być przesada, ponieważ dostaje także inne pliki, jest DownThemAll

— Kevin Worthington
źródło

dziękuję Kevin za radę, wget wygląda dobrze, w każdym razie wolałbym oprogramowanie „graficzne” bez wiersza poleceń. :)

— iAsk

2

To odrzuca nawet początkową stronę .html. Czy kiedykolwiek był testowany?

— dan3

Pytanie dotyczy pobrania wszystkich linków PDF, więc tak, początkowa strona .html zostanie zignorowana.

— Kevin Worthington

Czy w Windows 7 można zrobić to samo za pomocą Power Shell?

— Benedikt Buchert

1

Sugerowałbym również rzucenie co najmniej kilku sekund opóźnienia między pobraniem plików, aby było przyjemne i nie przytłaczało zdalnego serwera. e, g, dla wget, dodaj flagę-w 5

— KJH 21.01.16

6

W przeglądarce naciśnij CTRL+ SHIFT+ Ji wprowadź

var pdflinks = []; Array.prototype.map. call (document.querySelectorAll („a [href $ = \". pdf \ "]"), funkcja (e, i) {if ((pdflinks || []). indexOf (e.href) == - 1) {pdflinks.push (e.href);}}); console.log (pdflinks.join („”));

Zwróci to w konsoli:

„ /superuser/tagged/somepdf1.pdf ” „ /superuser/tagged/somepdf2.pdf ” „ /superuser/tagged/somepdf3.pdf „
Teraz używa wgetz opcjami wiersza poleceńwget url1 url2 ...

Skopiuj i wklej to, otwórz konsolę, wgetnaciśnij prawy przycisk myszy, aby wstawić zawartość schowka i naciśnij enter.

Aby użyć pliku do pobrania, połącz linie za pomocą „\ n” i użyj parametru w następujący sposób wget -i mydownload.txt

Zauważ, że większość innych programów do pobierania (GUI) również akceptuje, aby były wywoływane z listą adresów URL oddzielonych spacjami.

Mam nadzieję że to pomoże. Tak zazwyczaj to robię. Jest szybszy i bardziej elastyczny niż jakiekolwiek rozszerzenie z graficznym interfejsem użytkownika, którego muszę się nauczyć i pozostać zaznajomiony.

— Lorenz Lo Sauer
źródło

1

Jeszcze lepiej, console.log('"' + pdflinks.join('" "') + '"')bo inaczej nie dostaniesz cytowanych adresów URL

— dan3

1

Jeśli chcesz pozostać w przeglądarce, napisałem rozszerzenie internetowe właśnie w tym celu - pracuję nad dodaniem możliwości zapisywania plików PDF artykułów naukowych z odpowiednio sformatowanymi tytułami, ale jeśli chcesz je pobrać wszystko jest idealne dla tego.

To się nazywa Tab Save i tutaj w sklepie internetowym Chrome . Nie musisz nawet wpisywać listy adresów URL, jeśli po prostu otworzysz je wszystkie na kartach (ale w przypadku dużej liczby plików może to spowolnić komputer, więc dodałem opcję dodania własnego).

— Louis Maddox
źródło

0

Ostatnio użyłem do tego uGet (w systemie Windows). Ma GUI i możesz filtrować pliki, które zamierzasz pobrać.

Oszczędza próbując zapamiętać to wszystko

— Refleksyjny
źródło

0

W przeglądarce Google Chrome można używać rozszerzeń takich jak:

Pobierz Master

Dzięki temu rozszerzeniu możesz pobierać wszystkie obrazy, filmy, pdf, doc i wszelkie inne pliki połączone z odwiedzaną stroną internetową.

— kenorb
źródło

0

Google

Istnieje kilka narzędzi Python, które umożliwiają pobieranie linków PDF ze strony internetowej w oparciu o wyniki wyszukiwania Google.

Na przykład

google_dlskrypt (zalecany).

Stosowanie:

./google_dl -s http://www.example.com/ -f pdf ""

gsrchDwnskrypt (oparty na skrypcie neo ).

Stosowanie:

./gsrchDwn.py --query "site:http://www.example.com/" --ftype pdf

^{Uwaga: jestem opiekunem obu wymienionych skryptów.}

Obie implementują xgooglebibliotekę Python. Moje rozwidlenie tej biblioteki jest oparte na pkrumins/xgooglewersji .

Powiązane: Wyszukiwanie w sieci z wiersza poleceń systemu Linux .

— kenorb
źródło