wget rozpoczyna pobieranie, a następnie zatrzymuje się „nie można zapisać”

Korzystam z wget, aby kopiować niektóre pliki między serwerami. Używam następującego polecenia:

wget -x -N -i http://domain.com/filelist.txt

-x = Ponieważ chcę zachować strukturę katalogów

-N = Znacznik czasu, aby uzyskać tylko nowe pliki

-i = Aby pobrać listę plików z pliku zewnętrznego, po jednym w każdym wierszu.

Małe pliki, takie jak jeden, testuję, a pobieranie 326 KB jest w porządku.

Ale inny, 5 GB, pobiera tylko 203 MB, a następnie zatrzymuje się (zawsze 203 MB daje lub bierze kilka kilobajtów)

Wyświetlany komunikat o błędzie to:

Nie można pisać do „path / to / file.zip”

(Nie jestem pewien, dlaczego przed i po są dziwne postacie. Używam Putty w Windowsie, a to może, ale nie musi mieć z tym nic wspólnego, więc zostawiłem je. Nie zakładam.)

Pełna odpowiedź jest następująca: (zastąpiłem ścieżki, adres IP i nazwę domeny)

--2012-08-31 12: 41: 19-- http://domain.com/filelist.txt Rozwiązywanie domeny.com ... MY_IP Łączenie z domeną.com | MY_IP |: 80 ... podłączony. Wysłano żądanie HTTP, oczekując na odpowiedź ... 200 OK Długość: 161 [tekst / zwykły] Plik serwera nie nowszy niż plik lokalny âdomain.com / filelist.txtâ

--2012-08-31 12: 41: 19-- http://domain.com/path/to/file.zip Łączenie z domeną.com | MY_IP |: 80 ... podłączony. Wysłano żądanie HTTP, oczekując na odpowiedź ... 200 OK Długość: 5502192869 (5.1G) [application / zip] Rozmiary nie pasują (lokalnie 213004288) - pobieranie.

--2012-08-31 12: 41: 19-- http://domain.com/path/to/file.zip Łączenie z domeną.com | MY_IP |: 80 ... podłączony. Wysłano żądanie HTTP, oczekując na odpowiedź ... 200 OK Długość: 5502192869 (5.1G) [application / zip] Zapisywanie do: âdomain.com / path / to / file.zipâ

3% [====>
] 213,003,412 8,74 M / s w ciągu 24s

Nie można pisać na âdomain.com / path / to / file.zipâ

Wydaje się, że nie ma znaczenia, czy katalog ścieżek już istnieje lub jest tworzony w locie.

Czy ktoś ma pojęcie, dlaczego to się zatrzymuje i jak mogę to naprawić?

Jakakolwiek pomoc jest jak najbardziej doceniana.

EDYCJA: Próbowałem także zrobić wget, nie wprowadzać pliku i zmieniać jego nazwy. Tym razem pobiera trochę ponad 3 GB, a następnie daje to samo, nie może zapisać błędu.

wget -x -N http://domain.com/path/to/file.zip -O files/bigfile.zip

Ten błąd pojawi się, jeśli zabraknie miejsca na dysku. uruchom df, a zobaczysz, czy katalog, w którym piszesz, ma 100%

Jest to problem z długim adresem URL. Ja też stawiłem temu czoła. Więc użyłem bit.ly i skróciłem adres URL. Działa jak marzenie!

Właśnie dodałem a -do tarpolecenia po potoku po wget

miałem

wget https://example.com/path/to/file.tar.gz -O -|tar -xzf -C /path/to/file

następnie zmieniłem na

wget https://example.com/path/to/file.tar.gz -O - | tar -xzvf - -C /path/to/file

Jeśli zacznie zapisywać duży plik i zapisze 203 MB, podejrzewam, że masz albo pełny system plików po stronie odbierającej, albo upływa limit czasu połączenia sieciowego.

Możesz użyć df -h na serwerze odbierającym, aby sprawdzić, czy system plików jest pełny

Sprawdź tę odpowiedź na problemy z przekroczeniem limitu czasu wget:

/programming/2291524/does-wget-timeout

Spróbuj ponownie wykonać transfer, który się nie powiódł, i pomiń opcję -N znacznik czasu

Uruchom także ulimit -a, aby sprawdzić, czy istnieje limit rozmiaru pliku na serwerze odbierającym

W końcu to rozgryzłem i był to problem z przestrzenią. Jest to problem z serwerami 1and1 Cloud Server, więcej na ten temat tutaj: http://www.mojowill.com/geek/1and1-dynamic-cloud-server-disk-allocation/

Robiłem coś podobnego do:

wget -x -N -i http://domain.com/filelist.txt

Otrzymywałem:

--2016-12-09 07:44:23--  https://www.example.com/dir/details?abc=123&def=456
Resolving www.example.com (www.example.com)... 1.2.3.4
Connecting to www.example.com (www.example.com)|1.2.3.4|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
details?abc=123&def=456: No such file or directory

Cannot write to ‘details?abc=123&def=456’ (Success).

W moim równoważnym pliku filelist.txt miałem URL taki jak:

https://www.example.com/dir/details?abc=123&def=456

Aby debugować, próbowałem utworzyć ten sam plik, który wget próbował utworzyć:

touch "details?abc=123&def=456"
touch: cannot touch ‘details?abc=123&def=456’: No such file or directory

Altówka! Wygląda na to, że na tym ?polegał problem, ale dobrą praktyką byłoby usunięcie wszystkich znaków specjalnych z nazw plików, wyobraź sobie, co &zrobi, jeśli nie ucieknie.

Otrzymałem ten sam błąd w związku z tym poleceniem:

sudo wget -O - https://nightly.odoo.com/odoo.key | apt-key add -

problem polegał na sudo dla drugiego polecenia i rozwiązuję go za pomocą:

sudo su