Jak przesłać duże pliki do S3 przy niestabilnym połączeniu?

Mam kilka plików (od 500 MB do 7 GB), które muszę przesłać do wiadra S3. Moje połączenie jest bardzo niestabilne.

Próbowałem przesłać plik 500 MB przez, s3cmdale upłynął limit czasu, gdy wykonano go w 91% (co zajęło 16 godzin)

Próbowałem z CyberDuck, ale to samo się stało. Nie powiodło się po około 20%, a kiedy próbowałem ponowić transfer, wszystko zaczęło się od początku. CyberDuck ma obsługiwać wiele części, ale chyba nie ...

Mógłbym podzielić pliki na mniejsze, takie jak to: Jak podzielić plik .zip na wiele segmentów? , ale wolałbym nie, chyba że była to moja jedyna opcja. Jaki jest dobry program, którego mogę użyć, który pozwoli mi przesyłać duże pliki do S3 z obsługą wznowienia?

Właśnie próbowałem użyć s3tools (s3cmd-1.5.0-rc1). Otrzymałem tę wskazówkę z ich FAQ http://s3tools.org/kb/item13.htm . Patrz poniżej.

Czy s3cmd obsługuje przesyłanie wieloczęściowe?

Tak, najnowsza wersja s3cmd obsługuje przesyłanie wieloczęściowe Amazon S3.

Przesyłanie wieloczęściowe jest automatycznie stosowane, gdy plik do przesłania jest większy niż 15 MB. W takim przypadku plik jest podzielony na wiele części, z których każda ma rozmiar 15 MB (ostatnia część może być mniejsza). Każda część jest następnie przesyłana osobno, a następnie odtwarzana w miejscu docelowym po zakończeniu transferu.

Dzięki tej nowej funkcji, jeśli przesłanie części nie powiedzie się, można ją ponownie uruchomić bez wpływu na inne przesłane części.

Istnieją dwie opcje związane z przesyłaniem wieloczęściowym w s3cmd. Oni są:

- wyłącz-wieloczęściowy

Wyłącz przesyłanie wieloczęściowe dla wszystkich plików

i

--multipart-chunk-size-mb = SIZE

Rozmiar każdego fragmentu pliku wieloczęściowego. Pliki większe niż SIZE są automatycznie przesyłane jako wielowątkowe-wieloczęściowe, mniejsze pliki są przesyłane tradycyjną metodą. ROZMIAR jest w megabajtach, domyślny rozmiar fragmentu to 15 MB, minimalny dozwolony rozmiar fragmentu to 5 MB, maksymalny to 5 GB.

Więc kiedy przesyłam, wybieram najmniejszy rozmiar porcji. Powinieneś zobaczyć poniżej podział i wznawianie przesyłania.

$ s3cmd put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 1 of 52, 5MB]
 5242880 of 5242880   100% in  164s    31.08 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 2 of 52, 5MB]
 5242880 of 5242880   100% in  193s    26.46 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 3 of 52, 5MB]
 2023424 of 5242880    38% in  135s    14.59 kB/s^CERROR: 
some_video.mp4' part 3 failed. Use
  /usr/local/bin/s3cmd abortmp s3://some_bucket/some_video.mp4 XXX_SOME_HASH_XXX
to abort the upload, or
  /usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put ...
to continue the upload.
See ya!

Potem wznawiam.

/usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

Wierzę w Cyberduck w oknie przelewów, możesz kliknąć prawym przyciskiem myszy i wybrać wznowić.

Jeśli to nie zadziała, Cloudberry obsługuje wznawianie przesyłania

Za pomocą FileZilla Pro można przesyłać pliki do iz segmentu S3. FileZilla Pro obsługuje przesyłanie wieloczęściowe, aw przypadku niepowodzenia wznawia przesyłanie.

Do nagrań dołączono wiele innych funkcji: obsługę dużych plików, przesyłanie zbiorcze, filtry, porównanie katalogów, zdalne wyszukiwanie plików, przeciąganie i upuszczanie, konfigurację ograniczeń prędkości.

Jestem członkiem zespołu FileZilla Pro.

Dowiedz się więcej na https://filezillapro.com i na https://youtube.com/c/FileZillaPro