Rsync pokazuje postęp dla pojedynczego pliku

Używam rsync do przesyłania / pobierania całkiem dużego pliku (20 Gb). Jestem świadomy opcji --progress, ale to, co robi w moim przypadku, pokazuje mi wynik na końcu.

Mój problem polega na tym, że podczas jakiegoś niestabilnego połączenia - nie wiem, czy nadal trwa pobieranie / wysyłanie, czy coś poszło nie tak. Czy istnieje sposób pokazania paska postępu dla pojedynczego pliku? Coś podobnego do tego, co domyślnie robi wget?

Dzięki!

To może być to, czego szukasz.

% rsync -avvz --times --stats --checksum --human-readable --acls \
    --itemize-changes --progress \
    --out-format='[%t] [%i] (Last Modified: %M) (bytes: %-10l) %-100n' \
    /usr/include/glib-2.0 my-glib-copy/

Podział przełączników przedstawia się następująco:

• -avvz = archiwum, pełne x 2, kompresja
• --times = zachowaj czasy modyfikacji
• --stats = podaj statystyki przesyłania plików
• --checksum = pomiń na podstawie sumy kontrolnej, a nie mod-time i rozmiaru
• --human-readable = liczby wyjściowe w formacie czytelnym dla człowieka
• --acls = zachowaj listy ACL (implikuje -p)
• --itemize-change = wyświetla podsumowanie zmian dla wszystkich aktualizacji
• --progress = pokaż postęp podczas przesyłania
• --out-format = '[% t] [% i] (Ostatnia modyfikacja:% M) (bajty:% -10l)% -100n'
  • % t = aktualna data i godzina
  • % i = wyszczególniona lista aktualizowanych elementów
  • % M = czas ostatniej modyfikacji pliku
  • % -10l = długość pliku w bajtach (-10 oznacza wyrównanie i precyzję)
  • % -100n = nazwa pliku (skrócona forma; końcowe „/” w katalogu ) (-100 służy do wyrównania i precyzji)

UWAGA: Patrz strony man rsynci rsyncd.confwszystkimi szczegółami na temat powyższych przełączników.

Powyższe polecenie tworzy następujący zapis:

sending incremental file list
delta-transmission disabled for local transfer or --whole-file
[2012/12/23 21:34:46] [cd+++++++++] (Last Modified: 2010/12/19-08:13:31) (bytes: 4096      ) glib-2.0/
[2012/12/23 21:34:46] [>f+++++++++] (Last Modified: 2010/09/30-15:02:30) (bytes: 1511      ) glib-2.0/glib-object.h
       1.51K 100%    0.00kB/s    0:00:00
       1.51K 100%    0.00kB/s    0:00:00 (xfer#1, to-check=181/183)
[2012/12/23 21:34:46] [>f+++++++++] (Last Modified: 2010/09/30-15:02:30) (bytes: 2910      ) glib-2.0/glib.h
       2.91K 100%    2.78MB/s    0:00:00
       2.91K 100%    2.78MB/s    0:00:00 (xfer#2, to-check=180/183)
[2012/12/23 21:34:46] [>f+++++++++] (Last Modified: 2010/09/30-15:02:31) (bytes: 3613      ) glib-2.0/gmodule.h
       3.61K 100%    3.45MB/s    0:00:00
       3.61K 100%    3.45MB/s    0:00:00 (xfer#3, to-check=179/183)
...
...
[2012/12/23 21:34:46] [>f+++++++++] (Last Modified: 2010/09/30-15:02:31) (bytes: 8431      ) glib-2.0/gobject/gvaluecollector.h
       8.43K 100%  141.96kB/s    0:00:00
       8.43K 100%  141.96kB/s    0:00:00 (xfer#178, to-check=1/183)
[2012/12/23 21:34:46] [>f+++++++++] (Last Modified: 2010/09/30-15:02:31) (bytes: 8507      ) glib-2.0/gobject/gvaluetypes.h
       8.51K 100%  143.23kB/s    0:00:00
       8.51K 100%  143.23kB/s    0:00:00 (xfer#179, to-check=0/183)
total: matches=0  hash_hits=0  false_alarms=0 data=1305506

rsync[2996] (sender) heap statistics:
  arena:         540672   (bytes from sbrk)
  ordblks:            3   (chunks not in use)
  smblks:             7
  hblks:              2   (chunks from mmap)
  hblkhd:        401408   (bytes from mmap)
  allmem:        942080   (bytes from sbrk + mmap)
  usmblks:            0
  fsmblks:          592
  uordblks:      404784   (bytes used)
  fordblks:      135888   (bytes free)
  keepcost:      134240   (bytes in releasable chunk)

rsync[2999] (server receiver) heap statistics:
  arena:         286720   (bytes from sbrk)
  ordblks:            2   (chunks not in use)
  smblks:             8
  hblks:              3   (chunks from mmap)
  hblkhd:        667648   (bytes from mmap)
  allmem:        954368   (bytes from sbrk + mmap)
  usmblks:            0
  fsmblks:          672
  uordblks:      174480   (bytes used)
  fordblks:      112240   (bytes free)
  keepcost:      102352   (bytes in releasable chunk)

rsync[2998] (server generator) heap statistics:
  arena:         233472   (bytes from sbrk)
  ordblks:            4   (chunks not in use)
  smblks:             6
  hblks:              2   (chunks from mmap)
  hblkhd:        401408   (bytes from mmap)
  allmem:        634880   (bytes from sbrk + mmap)
  usmblks:            0
  fsmblks:          448
  uordblks:       83152   (bytes used)
  fordblks:      150320   (bytes free)
  keepcost:      131120   (bytes in releasable chunk)

Number of files: 183
Number of files transferred: 179
Total file size: 1.31M bytes
Total transferred file size: 1.31M bytes
Literal data: 1.31M bytes
Matched data: 0 bytes
File list size: 6.30K
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 350.39K
Total bytes received: 3.43K

sent 350.39K bytes  received 3.43K bytes  707.64K bytes/sec
total size is 1.31M  speedup is 3.69

Pasek postępu w nowszych wersjach rsync?

Natknąłem się na to pytanie SF:

• Pokazuje całkowity postęp w rsync: czy to możliwe?

Jedna z wymienionych odpowiedzi, że w nowszych wersjach rsyncistnieje teraz obsługa paska postępu. To wygląda tak:

% ./rsync -a --info=progress2 /usr .
    305,002,533  80%   65.69MB/s    0:00:01  xfr#1653, ir-chk=1593/3594)

Ten pasek postępu nadal nie pokazuje statusu poszczególnych plików w transferze, ale pokazuje procent ogólnego transferu, który może być pomocny.

rsync -vP pracuje dla mnie.

Od strony man : „-P sam jak --partial --progress”

Czy używasz rsync w trybie demona? Domyślne zachowanie rsync (w Debianie 6) jest takie, o jakie prosiłeś. Jednak na stronie podręcznika rsyncd.conf znajduję, że domyślne zachowanie w trybie demona to:

rejestrowanie transferu
Ten parametr umożliwia rejestrowanie pobieranych i wysyłanych plików w formacie podobnym do formatu używanego przez demony ftp. Demon zawsze rejestruje transfer na końcu, więc jeśli transfer zostanie przerwany, w pliku dziennika nie będzie żadnej wzmianki.
Jeśli chcesz dostosować wiersze dziennika, zobacz parametr „format dziennika”.

Więc jeśli używasz rsync w trybie demona, wygląda na to, że będziesz musiał dodać wiersz „logowanie transferu” do rsyncd.conf.

Myślę, że Pipe Viewer jest tym, czego potrzebujesz: https://code.google.com/p/pipeviewer/