scp i kompresja w tym samym czasie, bez pośredniego zapisu

Jaki jest kanoniczny sposób na:

• scp plik do zdalnej lokalizacji
• kompresuj plik w tranzycie ( tarlub nie, pojedynczy plik lub cały folder, 7zalub coś jeszcze bardziej wydajnego)
• wykonaj powyższe czynności bez zapisywania plików pośrednich

Znam takie rury muszlowe:

tar cf - MyBackups | 7za a -si -mx=9 -ms=on MyBackups.tar.7z

głównie:

• zwijanie całego folderu w jeden tar
• przekazać dane stdoutdo stdinprogramu kompresującego
• zastosować agresywną kompresję

Jaki jest najlepszy sposób, aby to zrobić za pomocą sshłącza, gdy plik ląduje w zdalnym systemie plików?

Wolę nie sshfsmontować.

To nie działa:

scp <(tar cvf - MyBackups | 7za a -si -mx=9 -so) localhost:/tmp/tmp.tar.7z

dlatego:

/dev/fd/63: not a regular file

Istnieje wiele sposobów robienia tego, co chcesz. Najprostszym jest użycie pìpe:

tar zcvf -  MyBackups | ssh user@server "cat > /path/to/backup/foo.tgz"

Tutaj obsługiwana jest kompresja, za pomocą tarktórej wywołań gzip( zflaga). Możesz także użyć compress( Z) i bzip( j). Na 7zto zrobić:

tar cf - MyBackups | 7za a -si -mx=9 -ms=on MyBackups.tar.7z | 
   ssh user@server "cat > /path/to/backup/foo.7z"

Najlepszym sposobem jest jednak pewnie rsync.

   Rsync is a fast and extraordinarily versatile  file  copying  tool.   It  can  copy
   locally, to/from another host over any remote shell, or to/from a remote rsync dae‐
   mon.  It offers a large number of options that control every aspect of its behavior
   and  permit  very  flexible  specification of the set of files to be copied.  It is
   famous for its delta-transfer algorithm, which reduces the amount of data sent over
   the network by sending only the differences between the source files and the exist‐
   ing files in the destination.  Rsync is widely used for backups and  mirroring  and
   as an improved copy command for everyday use.

rsyncma sposób zbyt wiele opcji. Naprawdę warto je przeczytać, ale są przerażające od pierwszego wejrzenia. Tymi, na których Ci zależy w tym kontekście, są:

    -z, --compress              compress file data during the transfer
        --compress-level=NUM    explicitly set compression level

   -z, --compress
          With this option, rsync compresses the file data as it is sent to the desti‐
          nation machine, which reduces the amount of data being transmitted --  
          something that is useful over a slow connection.

          Note  that this option typically achieves better compression ratios than can
          be achieved by using a compressing remote shell or a  compressing  transport
          because  it takes advantage of the implicit information in the matching data
          blocks that are not explicitly sent over the connection.

W twoim przypadku chciałbyś czegoś takiego:

rsync -z MyBackups user@server:/path/to/backup/

Pliki zostaną skompresowane podczas transportu i zostaną zdekompresowane do miejsca docelowego.

Więcej opcji do wyboru:

• scp sam może kompresować dane

   -C      Compression enable.  Passes the -C flag to ssh(1) to
           enable compression.
  
  $ scp -C source user@server:/path/to/backup
  

• Może być sposób na uzyskanie rsynci 7zadobrą zabawę, ale nie ma sensu tego robić. Zaletą rsyncjest to, że kopiuje tylko te bity, które zmieniły się między plikami lokalnymi i zdalnymi. Jednak niewielka lokalna zmiana może spowodować bardzo inny skompresowany plik, więc nie ma sensu tego używać rsync. To tylko komplikuje sprawy bez korzyści. Po prostu użyj bezpośredniego, sshjak pokazano powyżej. Jeśli naprawdę chcesz to zrobić, możesz spróbować, podając podpowłokę jako argument rsync. W moim systemie nie mogłem tego uruchomić, 7zaponieważ nie pozwala ci to na zapisywanie skompresowanych danych na terminalu. Być może Twoja implementacja jest inna. Spróbuj czegoś takiego ( to nie działa dla mnie ):

  rsync $(tar cf - MyBackups | 7za a -an -txz -si -so) \
    user@server:/path/to/backup
  

• Inną kwestią jest to, że 7z nie należy jej używać do tworzenia kopii zapasowych w systemie Linux . Jak podano na 7zstronie podręcznika :

  NIE UŻYWAJ formatu 7-zip do tworzenia kopii zapasowych w systemie Linux / Unix, ponieważ:
  - 7-zip nie przechowuje właściciela / grupy pliku.

Myślę, że to polecenie załatwi sprawę

ssh user@host "cd /path/to/data/;tar zc directory_name" | tar zx 

EDYCJA: wcześniejsza wersja miała dwie złe opcje „f”.

Teraz przede wszystkim musisz wykonać to polecenie z hosta docelowego. I szczegóły do ​​wyjaśnienia:

1. ssh użytkownik @ host otworzy połączenie z maszyną hosta, z którego dane mają zostać przesłane.
2. cd / path / to / data przejdzie do katalogu, w którym przechowywane są wymagane dane
3. tar zc * zainicjuje kompresję i umieści ją w STDOUT
4. Teraz potok (|) potokuje STDOUT źródła do STDIN miejsca docelowego, w którym działa „tar zx” i stale dekompresuje strumień danych pochodzący ze źródła.

Jak widać, polecenie to kompresuje w locie i oszczędza przepustowość. Możesz także użyć innych kompresji, aby uzyskać lepsze wyniki, ale pamiętaj, że kompresja i dekompresja wymaga cykli procesora.

Odniesienie

Małe ulepszenie odpowiedzi dkbhadeshiya : nie musisz tego robić cd dir, po prostu podaj katalog roboczy do tar:

ssh user@host "tar -C /path/to/data/ -zc directory_name" | tar zx 

Możesz także przesłać katalog w ten sam sposób:

tar zc directory_name/ | ssh user@host "tar zx -C /new/path/to/data/"