Jak utworzyć plik z terminala, powtarzając nieskończenie zestaw słów?

Jak utworzyć plik z terminala, powtarzając nieskończenie zestaw słów? Potrzebuję go, aby utworzyć ogromny plik do analizowania, taki jak rozmiar 2-4 GB. Obecnie ręcznie kopiuję wklejanie linii do tego samego pliku, aby zwiększyć rozmiar.

Jest prosty sposób, aby powtórzyć wiersz wiele razy:

yes we have no bananas | head -n 10000 > out.txt

spowoduje, że plik out.txt zawiera 10 000 wierszy, z których wszystkie mówią „nie mamy bananów”.

Aby ograniczyć wyjście do dokładnej liczby bajtów, użycia headjest -copcją zamiast -n. Na przykład generuje dokładnie 10 kB tekstu:

yes we have no bananas | head -c 10000 > out.txt

Nie mogę polecić nieskończonego powtarzania tekstu, ale możesz utworzyć plik o wielkości ~ 2 GB z powtarzającym się tekstem z pythonem tak ...

python3 -c 'with open("bigfile", "w") as f: f.write(("hello world "*10+"\n")*2*10**7)'

Spowoduje to wydrukowanie „hello world” 10 razy i utworzenie nowego wiersza, i powtórzenie tego 20 000 000 razy, zapisując wynik w pliku bigfile. Jeśli wszystkie znaki są ASCII, to każdy ma jeden bajt, więc odpowiednio obliczyć w zależności od tego, co chcesz napisać ...

Twoja jednostka centralna może być własnością. Skończy mi się pamięć RAM, jeśli spróbuję wykonać więcej niż 10 000 000 linii ...

_{Ale uruchamiam toster}

Perl ma fajny xoperator:

$ perl -e 'print "foo\n" x 5'
foo
foo
foo
foo
foo

Tak więc, jako proste rozwiązanie, możesz napisać swoją linię kilka milionów razy. Na przykład to polecenie utworzyło plik 3G:

perl -e 'print "This is my line\n" x 200000000' > file

Jeśli musisz podać dokładny rozmiar (w tym przypadku 2 GiB), możesz:

perl -e 'use bytes; while(length($str)<2<<20){ $str.="This is my line\n"} print "$str\n"' > file

• Umieść zestaw słów do powtórzenia w pliku np source.txt. Uzyskaj rozmiar source.txtbajtów, np. Przez:

   stat -c '%s' source.txt
  

• Wybierz rozmiar pliku docelowego, np. destination.txt2 GB lub 4 GB lub cokolwiek innego. Konwertuj rozmiar w bajtach.

• Podziel rozmiar pliku docelowego przez rozmiar pliku źródłowego. bashnie może wykonywać arytmetyki zmiennoprzecinkowej, ale w tym przypadku nie jest to konieczne.

• Użyj forkonstruktu, aby powtórzyć cat source.txtoperację razy wynik podziału. Byłby to najbliższy rozmiar docelowego pliku, jaki można uzyskać przez powtórzenie. Dane wyjściowe operacji są zapisywane w destination.txt.

Na przykład, zakładając, że source.txtma on 30 bajtów i chcemy utworzyć plik o wielkości 2 GB, potrzebujemy:

for ((i=0; i<=((16777216/30)); i++)); do cat source.txt; done >destination.txt

Tutaj ustawiam górny limit ((16777216/30))przy czasie inicjalizacji; możesz uzyskać wynik i umieścić go tutaj.

Operacja zajmie trochę czasu; im większy source.txt, tym mniej czasu będzie potrzebne.

Możesz także użyć whilepętli.

Przykład: Treść foo.txt(To jest twoje źródło):

foo
bar
foobar

bar.txtjest pusty (to jest twój plik docelowy). Możesz teraz wykonać następującą pętlę, aby zapisać zawartość foo.txtwielokrotnie w bar.txt:

while [ $(stat --format "%s" bar.txt) -lt 150 ] 
do 
    cat foo.txt >> bar.txt
done

Wyjaśnienie:

• stat --format "%s" bar.txtwyświetla rozmiar bar.txtw bajtach.
• while [ $(stat --format "%s" bar.txt) -lt 150 ] następujące działania będą powtarzane, aż do osiągnięcia rozmiaru docelowego (w tym przypadku 150 bajtów).
• cat foo.txt >> bar.txtdołącz zawartość foo.txtdobar.txt

Najpierw wystrzel komendę:

dd if=/dev/urandom of=file.txt bs=2048 count=10

utworzy plik na ścieżce o rozmiarze bs * zlicza losowe bajty, w naszym przypadku 2048 * 10 = 20 KB. które można zmienić zgodnie z wymaganiami.

cat - > file.txt

To polecenie przekierowuje STDIN do pliku, więc musisz wprowadzić dwa wiersze, a następnie nacisnąć Ctrl + D. Następnie musisz uruchomić następujące polecenie:

for i in {1..n}; do cat file.txt file.txt > file2.txt && mv file2.txt file.txt; done

Gdzie n jest liczbą całkowitą. Spowoduje to utworzenie pliku zawierającego 2 ^ (n + 1) linii, poprzez skopiowanie oryginalnych dwóch linii. Aby utworzyć plik z 16 liniami, wykonaj:

for i in {1..3}; do cat file.txt file.txt > file2.txt && mv file2.txt file.txt; done

Oto kilka liczb na początek:

n=15 will give you 65536 lines (if the original two lines were 'hello' and 'world' the file will be 384Kb)
n=20 will give you 2097152 lines (12Mb file with 'hello' and 'world' as the two starting lines)
n=25 will give you 67108864 lines (384Mb file with 'hello' and 'world' as the two starting lines)

FIFO są prawdopodobnie tym, czego szukasz. Zamiast wywoływać program z danym plikiem, możesz powiązać z nim wynik polecenia powłoki poprzez podstawienie procesu, a program zobaczy wynik w postaci pliku jawnego tekstu. Zaletą jest to, że nie jesteś już ograniczony miejscem na dysku, dzięki czemu możesz osiągnąć rozmiary plików, które w przeciwnym razie byłyby niemożliwe, o ile twój program nie musi najpierw buforować całego pliku i może po prostu parsować go wiersz po wierszu. Na przykład użycie odpowiedzi @hobbs do wygenerowania treści:

wc -c <(yes we have no bananas | head -n 5000000000)

To pożycza mi plik 95 gigabajtów (według wc) bez żadnych kosztów w przestrzeni na dysku twardym i prawie żadnej pamięci RAM, tylko tyle, aby buforować to, co komenda zwraca, zanim zostanie odczytana. Jest to tak blisko „nieskończoności”, jak tylko się da.