dd na całym dysku, ale nie chcę pustej części

Mam dysk, powiedzmy / dev / sda.

Oto fdisk -l:

 Disk /dev/sda: 64.0 GB, 64023257088 bytes
255 heads, 63 sectors/track, 7783 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0000e4b5

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          27      209920   83  Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2              27         525     4000768    5  Extended
Partition 2 does not end on cylinder boundary.
/dev/sda5              27         353     2621440   83  Linux
/dev/sda6             353         405      416768   83  Linux
/dev/sda7             405         490      675840   83  Linux
/dev/sda8             490         525      282624   83  Linux

Muszę zrobić obraz do przechowywania na naszym serwerze plików do użycia w flashowaniu innych urządzeń, które produkujemy, więc chcę tylko zajętego miejsca (tylko około 4 GB). Chcę zachować MBR itp., Ponieważ to urządzenie powinno być gotowe do rozruchu, gdy tylko kopia zostanie ukończona.

Jakieś pomysły? Wcześniej używałem dd if=/dev/sda of=[//fileserver/file], ale w tym czasie moja główna kopia była na idei flash 4GB.

Kiedyś miałem podobny problem z osadzonymi dystrybucjami Linuksa - pozbyć się wszystkich śmieci przed skompresowaniem obrazu.

dd if=/dev/zero of=asdf.txt. Poczekaj, aż umrze. Usuń plik asdf.txt.

Właśnie napisałeś zera do całego wolnego miejsca na urządzeniu.

Teraz weź obraz dysku i uruchom go przez gzip. Voila, rzadki obraz.

Prawdopodobnie nie skaluje się zbyt dobrze i może powodować problemy, jeśli rzeczywiście chcesz zapisać na dysk, ale hej.

Możesz wziąć migawkę rsync dysku na inny wolumin, wyzerować go, a następnie wziąć obraz dysku.

Uwaga: może to być niebezpieczne dla dysku SSD, użytkownik powinien rozważyć tę operację przed zatwierdzeniem.

Zakładając, że chcesz zapisać /dev/sdXNsię /tgtfs/image.rawi jesteś root:

1. mkdir /srcfs && mount /dev/sdXN /srcfs

2. Użyj zerofill lub po prostu: dd if=/dev/zero of=/srcfs/tmpzero.txtaby wypełnić nieużywane bloki zerem (poczekaj, aż całkowicie wypełni system plików rm /srcfs/tmpzero.txt)

3. Zrób zdjęcie za pomocą dd i użyj conv = sparse, aby zerować zera w locie: dd conv=sparse if=/dev/sdxn of=/tgtfs/image.raw

Jeśli chcesz użyć kompresji, nie musisz dziurkować zer za pomocą dd, ponieważ bloki zerowe są wysoce ściśliwe:

dd if=/dev/sdxn | gz -c | dd of=/tgtfs/image.raw

PS: Należy pamiętać, że nie jest to dobry pomysł na nośnikach pamięci opartych na pamięci flash (tzn. Źródłowym systemem plików jest SSD)

Użyj dd z opcją liczenia.

W twoim przypadku korzystałeś z fdisk, więc przyjmuję to podejście. Twój „sudo fdisk -l” wyprodukował:

    Disk /dev/sda: 64.0 GB, 64023257088 bytes
    255 heads, 63 sectors/track, 7783 cylinders
    Units = cylinders of 16065 * 512 = 8225280 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    Disk identifier: 0x0000e4b5

    Device Boot      Start         End      Blocks   Id  System
    /dev/sda1   *           1          27      209920   83  Linux
    Partition 1 does not end on cylinder boundary.
    /dev/sda2              27         525     4000768    5  Extended
    Partition 2 does not end on cylinder boundary.
    /dev/sda5              27         353     2621440   83  Linux
    /dev/sda6             353         405      416768   83  Linux
    /dev/sda7             405         490      675840   83  Linux
    /dev/sda8             490         525      282624   83  Linux

Należy zwrócić uwagę na dwie rzeczy: 1) rozmiar jednostki i 2) kolumnę „Koniec”. W twoim przypadku masz cylindry, które są równe 8225280 bajtów. W kolumnie „Koniec” sda8 kończy się na 525 (czyli 525 [jednostkach] * 16065 * 512 = ~ 4,3 GB)

dd może robić wiele rzeczy, takich jak rozpoczynanie po przesunięciu lub zatrzymywanie po określonej liczbie bloków. Zrobimy to drugie, używając opcji count w dd. Polecenie wyglądałoby następująco:

    sudo dd if=/dev/sda of=/your_directory/image_name.iso bs=8225280 count=526

Gdzie -bs jest rozmiarem bloku (najłatwiej jest użyć jednostki używanej przez fdisk, ale dowolna jednostka zrobi to tak długo, jak długo opcja liczenia jest zadeklarowana w tych jednostkach), a liczba to liczba jednostek, które chcemy skopiować (uwaga zwiększamy liczbę o 1, aby przechwycić ostatni blok).

Podczas gdy /dev/zerozajmowanie wolnego miejsca na dysku i używanie dd conv=sparse/ gz -cjest możliwe, na ogromnych dyskach z pustą przestrzenią działającą w 100 GB pamięci, /dev/zeroing jest boleśnie powolne - nie wspominając o tym, jak zauważono w innych odpowiedziach, /dev/zerozapisując SDD do EOF.

Oto, co zrobiłem, gdy wpadłem na taką sytuację:

• Na Live CD lubuntu, używanym gparteddo „zmniejszania” dysku do minimalnego możliwego rozmiaru, pozostawiając nieprzydzielone miejsce

• Służy
  dd bs=1M count=<size_in_MBs> if=/dev/sdX | gzip -c --fast| dd of=/path/to/image.gz do tworzenia szybko skompresowanego obrazu (nie trzeba dodawać, że możesz pominąć kompresję, jeśli masz wystarczająco dużo miejsca do przechowywania surowych danych (lub w inny sposób chcesz zmniejszyć obciążenie procesora)

• Służy
  dd if=/path/to/image.gz | gunzip -c | dd bs=1M of=/dev/sdY do kopiowania danych z powrotem na inny dysk
• Służy gpartedponownie do „rozszerzania” partycji

Nie próbowałem tego na wielu partycjach, ale uważam, że powyższy proces można dostosować do kopiowania „partycji”, jeśli najpierw utworzona zostanie tablica partycji na dysku docelowym i skopiowane zostaną tylko dane zawarte na partycji dd- odczyt / zapis przesunięć ( skip/ seekopcja ddodpowiednio) byłaby wymagana odpowiednio.

Nie możesz ddjest narzędziem bardzo niskiego poziomu i nie ma możliwości rozróżnienia plików od pustej przestrzeni.

Z drugiej strony pusta przestrzeń będzie się bardzo, bardzo ładnie kompresować, więc jeśli martwisz się tylko o przestrzeń dyskową, nie na przykład o czas zapisu, po prostu prześlij ją przez gzip.

Zakładając, że reszta dysku jest pusta (wszystkie zera), możesz przesłać DD przez gzip, co powinno całkiem ładnie skompresować puste miejsce. Możesz użyć narzędzia takiego jak zeroofree, aby upewnić się, że puste miejsce jest rzeczywiście puste, więc ładnie się kompresuje.

Jeśli użyjesz narzędzia takiego jak partimage , clonezilla lub niektóre z innych narzędzi do klonowania linuxa, większość z nich zajmie się tobą automatycznie.

Przyjęta odpowiedź jest nieprawidłowa. Zgadzam się z powyższym komentarzem. Używam dd z parametrem count do regularnego tworzenia kopii zapasowej dysku. Po prostu zamień BACKUP_FOLDER i literę urządzenia na „X”:

Zdefiniuj ostatnio używany blok dysku:

ct=$(fdisk -l | awk '$1 == "/dev/sdX" { print $3 }')

Następnie klonowanie dysku (z wyjątkiem pustej przestrzeni):

dd if=/dev/sdX bs=512 count=$ct | gzip > BACKUP_FOLDER/sdX_$(date +"%Y-%m-%d").img.gz >>"$LOG"