Dołącz do siebie ogromne pliki bez ich kopiowania

Na dysku znajduje się 5 ogromnych plików (plik 1, plik 2, ... plik 5) o wielkości około 10 GB i bardzo mało wolnego miejsca na dysku i muszę połączyć wszystkie te pliki w jeden. Nie ma potrzeby przechowywania oryginalnych plików, tylko ostatni.

Zwykle konkatenacja odbywa się catdla plików file2.. file5:

cat file2 >> file1 ; rm file2

Niestety ten sposób wymaga co najmniej 10G wolnego miejsca, którego nie mam. Czy istnieje sposób na konkatenację plików bez faktycznego kopiowania, ale powiedzieć systemowi plików, że plik1 nie kończy się na oryginalnym końcu pliku 1 i kontynuuje na początku pliku 2?

ps. system plików to ext4, jeśli to ma znaczenie.

AFAIK (niestety) nie jest możliwe obcięcie pliku od samego początku (może to dotyczyć standardowych narzędzi, ale dla poziomu syscall patrz tutaj ). Ale dodając pewną złożoność, możesz użyć normalnego obcięcia (razem z rzadkimi plikami): Możesz pisać na końcu pliku docelowego bez zapisywania wszystkich danych pomiędzy nimi.

Załóżmy, że najpierw oba pliki mają dokładnie 5GiB (5120 MiB) i że chcesz przenieść 100 MiB jednocześnie. Wykonujesz pętlę, która składa się z

1. kopiowanie jednego bloku z końca pliku źródłowego na koniec pliku docelowego (zwiększenie zajętego miejsca na dysku)

2. obcięcie pliku źródłowego o jeden blok (zwolnienie miejsca na dysku)

   for((i=5119;i>=0;i--)); do
     dd if=sourcefile of=targetfile bs=1M skip="$i" seek="$i" count=1
     dd if=/dev/zero of=sourcefile bs=1M count=0 seek="$i"
   done
   

Ale spróbuj najpierw z mniejszymi plikami testowymi, proszę ...

Prawdopodobnie pliki nie mają tego samego rozmiaru ani wielokrotności rozmiaru bloku. W takim przypadku obliczenia przesunięć stają się bardziej skomplikowane. seek_bytesi skip_bytesnależy z tego skorzystać.

Jeśli tak chcesz, ale potrzebujesz pomocy w zakresie szczegółów, zapytaj ponownie.

Ostrzeżenie

W zależności od ddrozmiaru bloku wynikowy plik będzie koszmarem fragmentacji.

Zamiast łączyć pliki razem w jeden plik, może symulować pojedynczy plik z nazwanym potokiem, jeśli twój program nie obsługuje wielu plików.

mkfifo /tmp/file
cat file* >/tmp/file &
blahblah /tmp/file
rm /tmp/file

Jak sugeruje Hauke, losetup / dmsetup może również działać. Szybki eksperyment; Stworzyłem „plik1..plik4” i przy odrobinie wysiłku:

for i in file*;do losetup -f ~/$i;done

numchunks=3
for i in `seq 0 $numchunks`; do
        sizeinsectors=$((`ls -l file$i | awk '{print $5}'`/512))
        startsector=$(($i*$sizeinsectors))
        echo "$startsector $sizeinsectors linear /dev/loop$i 0"
done | dmsetup create joined

Następnie / dev / dm-0 zawiera wirtualne urządzenie blokowe z plikiem jako zawartością.

Nie przetestowałem tego dobrze.

Kolejna edycja: rozmiar pliku musi być podzielny równomiernie przez 512, inaczej stracisz trochę danych. Jeśli tak, to jesteś dobry. Widzę, że zauważył to również poniżej.

Musisz napisać coś, co kopiuje dane w pęczkach, które są co najwyżej tak duże, jak ilość wolnego miejsca. Powinno działać tak:

• Odczytaj blok danych z file2(używając pread(), szukając przed odczytem do właściwej lokalizacji).
• Dołącz blok do file1.
• Użyj, fcntl(F_FREESP)aby zwolnić miejsce file2.
• Powtarzać

Wiem, że jest to bardziej obejście niż to, o co prosiłeś, ale rozwiązałoby problem (z niewielką fragmentacją lub zarysowaniem):

#step 1
mount /path/to/... /the/new/fs #mount a new filesystem (from NFS? or an external usb disk?)

i wtedy

#step 2:
cat file* > /the/new/fs/fullfile

lub jeśli uważasz, że kompresja pomogłaby:

#step 2 (alternate):
cat file* | gzip -c - > /the/new/fs/fullfile.gz

W końcu (i TYLKO wtedy)

#step 3:
rm file*
mv /the/new/fs/fullfile  .   #of fullfile.gz if you compressed it