Podziel pliki za pomocą tar, gz, zip lub bzip2 [zamknięte]

Muszę skompresować duży plik o wielkości około 17-20 GB. Muszę podzielić go na kilka plików po około 1 GB na plik.

Szukałem rozwiązania w Google i znalazłem sposoby używania poleceń spliti cat. Ale w ogóle nie działały dla dużych plików. Ponadto nie będą działać w systemie Windows; Muszę go rozpakować na komputerze z systemem Windows.

Możesz użyć splitpolecenia z -bopcją:

split -b 1024m file.tar.gz

Można go ponownie złożyć na komputerze z systemem Windows, używając odpowiedzi @ Joshua .

copy /b file1 + file2 + file3 + file4 filetogether

Edycja : Jak stwierdził @Charlie w poniższym komentarzu, możesz chcieć jawnie ustawić przedrostek, ponieważ użyje on xinaczej, co może być mylące.

split -b 1024m "file.tar.gz" "file.tar.gz.part-"

// Creates files: file.tar.gz.part-aa, file.tar.gz.part-ab, file.tar.gz.part-ac, ...

Edycja : edycja posta, ponieważ pytanie jest zamknięte, a najbardziej efektywne rozwiązanie jest bardzo zbliżone do treści tej odpowiedzi:

# create archives
$ tar cz my_large_file_1 my_large_file_2 | split -b 1024MiB - myfiles_split.tgz_
# uncompress
$ cat myfiles_split.tgz_* | tar xz

To rozwiązanie pozwala uniknąć używania dużego pliku pośredniego podczas (de) kompresji. Użyj opcji tar -C, aby użyć innego katalogu dla plików wynikowych. btw jeśli archiwum składa się tylko z jednego pliku, można uniknąć tar i używać tylko gzip:

# create archives
$ gzip -c my_large_file | split -b 1024MiB - myfile_split.gz_
# uncompress
$ cat myfile_split.gz_* | gunzip -c > my_large_file

W przypadku systemu Windows możesz pobrać przeniesione wersje tych samych poleceń lub użyć cygwin.

Jeśli dzielisz się z Linuksem, nadal możesz ponownie złożyć w systemie Windows.

copy /b file1 + file2 + file3 + file4 filetogether

użyj tar do podziału na wiele archiwów

istnieje wiele programów, które będą współpracować z plikami tar w systemie Windows, w tym cygwin.

Testowany kod, początkowo tworzy pojedynczy plik archiwum, a następnie dzieli go:

 gzip -c file.orig > file.gz
 CHUNKSIZE=1073741824
 PARTCNT=$[$(stat -c%s file.gz) / $CHUNKSIZE]

 # the remainder is taken care of, for example for
 # 1 GiB + 1 bytes PARTCNT is 1 and seq 0 $PARTCNT covers
 # all of file
 for n in `seq 0 $PARTCNT`
 do
       dd if=file.gz of=part.$n bs=$CHUNKSIZE skip=$n count=1
 done

Ten wariant pomija tworzenie pojedynczego pliku archiwum i przechodzi bezpośrednio do tworzenia części:

gzip -c file.orig |
    ( CHUNKSIZE=1073741824;
        i=0;
        while true; do
            i=$[i+1];
            head -c "$CHUNKSIZE" > "part.$i";
            [ "$CHUNKSIZE" -eq $(stat -c%s "part.$i") ] || break;
        done; )

W tym wariancie, jeśli rozmiar pliku archiwum jest podzielny przez $CHUNKSIZE, to ostatni plik częściowy będzie miał rozmiar 0 bajtów.