Wget: konwersja linków i unikanie ponownego pobierania już pobranych plików?


12

Pobieram dane rozproszone wśród wielu plików, które nie zmieniają się po opublikowaniu.

Dlatego --timestampingnie jest wystarczająco dobry, ponieważ stale sprawdza, który zasób jest zmieniany, co w moim przypadku jest całkowicie bezcelowe.

--no-clobberpasuje idealnie. Niestety z --convert-links jakiegoś powodu nie działa .

Podano zarówno --no-clobber, jak i --convert-links, zostaną użyte tylko --convert-links.

Miałem nadzieję, że --backup-convertedto pomoże, ale nic nie zmieniło (działa --timestamping).

Dlaczego wget --convert-links --backup-converted --no-clobber --wait 1 https://example.comignoruje --no-clobberi jak można to naprawić?


Dotknięcie tego samego problemu dzisiaj. Jak to rozwiązałeś?
Angelo Fuchs,

1
@AngeloFuchs Nigdy tego nie rozwiązałem (wysłałbym odpowiedź, gdyby tak się stało). W końcu w moim przypadku ponowne pobieranie pobranych linków było prostsze niż łatanie wgeta lub przejście na coś innego.
ograniczenie aktywności

próbowałeś --continue? zwykle ma to na celu kontynuowanie wcześniej przerwanego pobierania. ale jeśli plik został już pobrany, nic nie robi.
JPT

Odpowiedzi:


1

Czy jest jakaś możliwość korzystania z rsync? Będziesz musiał mieć dostęp ssh do systemu. (Nigdy nie widziałem rsync używanego do pobierania http: //).

Coś takiego spowoduje otrzymanie plików, których nigdy nie otrzymałeś i ponowne pobranie plików, które z jakiegoś powodu zostały zatrzymane.

rsync -avzheP ssh root@192.168.0.100:/remotefolder/ /localfolder/

To może nie działać dla ciebie. Za mało informacji o tym, co próbujesz zrobić.


-2

Nie możesz używać obu --convert-linksi --no-clobber. Otrzymasz tę wiadomość:

Both --no-clobber and --convert-links were specified, only --convert-links will be used.

wgetmoże osiągnąć to, co chcesz, jeśli określisz --convert-linksi --timestamping. Działa to jednak tylko wtedy, gdy witryna docelowa poda informacje o znaczniku czasu pliku w nagłówkach odpowiedzi.


W tej odpowiedzi nie ma nic, o czym nie wspomniałem w pierwszej wersji ( unix.stackexchange.com/posts/177330/revisions ) mojego pytania.
ograniczenie aktywności
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.