Używanie wget do rekurencyjnego pobierania katalogu zawierającego dowolne pliki

Mam katalog internetowy, w którym przechowuję niektóre pliki konfiguracyjne. Chciałbym użyć wget do ściągnięcia tych plików i utrzymania ich obecnej struktury. Na przykład katalog zdalny wygląda następująco:

http://mysite.com/configs/.vim/

.vim przechowuje wiele plików i katalogów. Chcę powielić to na kliencie za pomocą wget. Nie można znaleźć odpowiedniej kombinacji flag wget, aby to zrobić. Jakieś pomysły?

Musisz przekazać opcję -np/ --no-parentdo wget(oprócz -r/ --recursiveoczywiście), w przeciwnym razie będzie ona podążać za linkiem w indeksie katalogu na mojej stronie do katalogu nadrzędnego. Polecenie wyglądałoby więc tak:

wget --recursive --no-parent http://example.com/configs/.vim/

Aby uniknąć pobierania automatycznie generowanych index.htmlplików, użyj opcji -R/ --reject:

wget -r -np -R "index.html*" http://example.com/configs/.vim/

Aby pobrać katalog rekurencyjnie, który odrzuca pliki index.html * i pliki do pobrania bez nazwy hosta, katalogu nadrzędnego i całej struktury katalogów:

wget -r -nH --cut-dirs=2 --no-parent --reject="index.html*" http://mysite.com/dir1/dir2/data

Dla każdego, kto ma podobne problemy. Wget śledzi, robots.txtco może nie pozwolić ci pobrać strony. Nie martw się, możesz to wyłączyć:

wget -e robots=off http://www.example.com/

http://www.gnu.org/software/wget/manual/html_node/Robot-Exclusion.html

Powinieneś użyć flagi -m (mirror), ponieważ pozwala to nie zadzierać ze znacznikami czasu i powtarza się w nieskończoność.

wget -m http://example.com/configs/.vim/

Jeśli dodasz punkty wspomniane przez innych w tym wątku, będzie to:

wget -m -e robots=off --no-parent http://example.com/configs/.vim/

Oto kompletne polecenie wget, które zadziałało dla mnie, aby pobrać pliki z katalogu serwera (ignorowanie robots.txt):

wget -e robots=off --cut-dirs=3 --user-agent=Mozilla/5.0 --reject="index.html*" --no-parent --recursive --relative --level=1 --no-directories http://www.example.com/archive/example/5.3.0/

Jeśli --no-parentnie pomoże, możesz użyć --includeopcji.

Struktura katalogu:

http://<host>/downloads/good
http://<host>/downloads/bad

I chcesz pobrać, downloads/goodale nie downloads/badkatalog:

wget --include downloads/good --mirror --execute robots=off --no-host-directories --cut-dirs=1 --reject="index.html*" --continue http://<host>/downloads/good

wget -r http://mysite.com/configs/.vim/

pracuje dla mnie.

Być może masz plik .wgetrc, który go zakłóca?

Aby rekurencyjnie pobrać katalog z nazwą użytkownika i hasłem, użyj następującego polecenia:

wget -r --user=(put username here) --password='(put password here)' --no-parent http://example.com/

Wget 1.18 może działać lepiej, np. Ugryzł mnie błąd wersji 1.12, w którym ...

wget --recursive (...)

... pobiera tylko index.html zamiast wszystkich plików.

Obejściem problemu było zauważenie około 301 przekierowań i wypróbowanie nowej lokalizacji - biorąc pod uwagę nowy adres URL, wget ma wszystkie pliki w katalogu.

Wszystko czego potrzebujesz to dwie flagi, jedna służy "-r"do rekurencji i "--no-parent"(lub -np), aby nie wchodzić w '.'i ".." . Lubię to:

wget -r --no-parent http://example.com/configs/.vim/

Otóż ​​to. Będzie pobrać pod następującym lokalnego drzewa: ./example.com/configs/.vim. Jeśli jednak nie chcesz pierwszych dwóch katalogów, użyj dodatkowej flagi, --cut-dirs=2jak sugerowano we wcześniejszych odpowiedziach:

wget -r --no-parent --cut-dirs=2 http://example.com/configs/.vim/

I pobierze twoje drzewo plików tylko do ./.vim/

W rzeczywistości pierwszy wiersz otrzymałem od tej odpowiedzi dokładnie z instrukcji wget , mają bardzo czysty przykład pod koniec sekcji 4.3.

Następująca opcja wydaje się być idealną kombinacją w przypadku pobierania rekurencyjnego:

wget -nd -np -P / dest / dir --recursive http: // url / dir1 / dir2

Odpowiednie fragmenty stron podręcznika dla wygody:

   -nd
   --no-directories
       Do not create a hierarchy of directories when retrieving recursively.  With this option turned on, all files will get saved to the current directory, without clobbering (if a name shows up more than once, the
       filenames will get extensions .n).


   -np
   --no-parent
       Do not ever ascend to the parent directory when retrieving recursively.  This is a useful option, since it guarantees that only the files below a certain hierarchy will be downloaded.

Powinieneś być w stanie to zrobić po prostu dodając -r

wget -r http://stackoverflow.com/

Ta wersja pobiera rekurencyjnie i nie tworzy katalogów nadrzędnych.

wgetod() {
    NSLASH="$(echo "$1" | perl -pe 's|.*://[^/]+(.*?)/?$|\1|' | grep -o / | wc -l)"
    NCUT=$((NSLASH > 0 ? NSLASH-1 : 0))
    wget -r -nH --user-agent=Mozilla/5.0 --cut-dirs=$NCUT --no-parent --reject="index.html*" "$1"
}

Stosowanie:

1. Dodaj ~/.bashrclub wklej do terminala
2. wgetod "http://example.com/x/"