Jak utworzyć duży plik w systemie UNIX?

Znalazłem sposób w Windows na zrobienie czegoś takiego

echo "This is just a sample line appended  to create a big file. " > dummy.txt
for /L %i in (1,1,21) do type dummy.txt >> dummy.txt

http://www.windows-commandline.com/how-to-create-large-dummy-file/

Czy w systemie UNIX istnieje sposób na skopiowanie pliku, dołączenie, a następnie powtórzenie procesu? Coś takiego for .. cat file1.txt > file1.txt?

yes "Some text" | head -n 100000 > large-file

Z csh/ tcsh:

repeat 10000 echo some test > large-file

Z zsh:

{repeat 10000 echo some test} > large-file

W systemach GNU zobacz także:

seq 100000 > large-file

Lub:

truncate -s 10T large-file

(tworzy rzadki plik 10TiB (bardzo duży, ale nie zajmuje miejsca na dysku)) i inne alternatywy omówione w temacie „Utwórz plik testowy z dużą ilością zerowych bajtów” .

Robienie cat file >> filebyłoby złym pomysłem.

Po pierwsze, nie działa z niektórymi catimplementacjami, które odmawiają odczytu plików, które są takie same jak ich plik wyjściowy. Ale nawet jeśli obejdziesz ten proces cat file | cat >> file, jeśli filejest większy niż catbufor wewnętrzny, spowodowałoby catto uruchomienie w nieskończonej pętli, ponieważ w rezultacie odczytałby wcześniej zapisane dane.

W systemach plików zabezpieczonych obrotowym dyskiem twardym byłoby to również dość nieefektywne (po osiągnięciu rozmiaru większego niż prawdopodobnie buforowany w pamięci), ponieważ dysk musiałby iść w tę iz powrotem między miejscem, w którym można odczytać dane, i gdzie to napisać.

Możesz utworzyć duży plik w systemie Solaris, używając:

mkfile 10g /path/to/file

Kolejny sposób, który działa w systemie Solaris (i Linux):

truncate -s 10g /path/to file

Możliwe jest również użycie:

dd if=/dev/zero of=/path/to/file bs=1048576 count=10240

Najszybszym możliwym sposobem utworzenia dużego pliku w systemie Linux jest fallocate:

sudo fallocate -l 2G bigfile

fallocatemanipuluje systemem plików i faktycznie nie zapisuje domyślnie w sektorach danych, i jako taki jest niezwykle szybki. Minusem jest to, że musi być uruchamiany jako root.

Uruchamiając go kolejno w pętli, możesz wypełnić największy system plików w ciągu kilku sekund.

Od man fallocate

fallocate służy do manipulowania przydzielonym miejscem na dysku dla pliku, zarówno w celu zwolnienia, jak i wstępnego przydzielenia.
W przypadku systemów plików, które obsługują wywołanie systemowe Fallocate, wstępna alokacja odbywa się szybko przez przydzielenie bloków i oznaczenie ich jako niezainicjowanych, nie wymagając we / wy bloków danych. Jest to o wiele szybsze niż tworzenie pliku przez wypełnienie go zerami.
Obsługiwany dla XFS (od Linuksa 2.6.38), ext4 (od Linux 3.0), Btrfs (od Linux 3.7) i tmpfs (od Linux 3.5).

To będzie kontynuowane, dopóki nie CTRL-C:

yes This is stuff that I want to put into my file... >> dummy.txt

Bądź jednak ostrożny, ponieważ możesz uzyskać setki tysięcy linii na sekundę ...

Od man yes:

yes - output a string repeatedly until killed

Jeśli dobrze cię rozumiem, szukasz czegoś takiego:

echo "test line" > file;
for i in {1..21}; do echo "test line" >> file; done

Spowoduje to utworzenie pliku z 22 powtórzeniami „linii testowej”. Jeśli chcesz określonego rozmiaru pliku, możesz użyć czegoś takiego (w systemie Linux). 1024 to jeden kilobajt:

while [ $(stat -c "%s" file) -le 1024 ]; do echo "test line" >> file; done

Osobiście, gdy chcę utworzyć duży plik, używam dwóch plików i łączę je między sobą. Możesz powtarzać proces, aż osiągniesz pożądany rozmiar (tutaj 1 MB):

echo "test line" > file;
while [ $(stat -c "%s" file) -le 1048576 ]; do 
    cat file >> newfile
    cat newfile >> file
done

Pamiętaj, że to rozwiązanie często przekracza pożądany rozmiar, ponieważ jeśli plik jest poniżej limitu, wszystko zostanie do niego ponownie przywrócone.

Wreszcie, jeśli wszystko, czego chcesz, to plik o pożądanym rozmiarze i nie musisz go tak naprawdę zawierać, możesz użyć truncate:

truncate -s 1M file

Pipingując zawartość /dev/urandomdo headmożesz przekierować dane wyjściowe do pliku, więc:

 cat /dev/urandom | head --bytes=100 >> foo.bar

Otrzymasz plik ze 100 bajtami śmieci.

echo "This is just a sample line appended  to create a big file. " > dummy.txt
i=1
while [ $i -le 21 ]
do
  cat dummy.txt >> bigfile
  cat bigfile > dummy.txt
  (( i++ ))
done

taki sam efekt skryptu Windows, ale w bash nie można bezpośrednio połączyć pliku z samym sobą.