Jak losowo próbkować podzbiór pliku

Czy jest jakieś polecenie Linuksa, którego można użyć do próbkowania podzbioru pliku? Na przykład plik zawiera milion wierszy, a my chcemy losowo pobrać próbkę tylko tysiąca wierszy z tego pliku.

Dla losowych mam na myśli to, że każda linia ma takie samo prawdopodobieństwo wyboru i żadna z wybranych linii nie jest powtarzalna.

headi tailmoże wybrać podzbiór pliku, ale nie losowo. Wiem, że zawsze mogę napisać skrypt Pythona, ale zastanawiam się, czy istnieje takie polecenie.

shufKomenda (część coreutils) może to zrobić:

shuf -n 1000 file

I przynajmniej na razie nie starożytne wersje (dodane w zatwierdzeniu z 2013 r. ), Które w razie potrzeby będą wykorzystywać próbkowanie zbiornika, co oznacza, że ​​nie powinno zabraknąć pamięci i korzysta z szybkiego algorytmu.

Jeśli masz bardzo duży plik (co jest częstym powodem do pobrania próbki), przekonasz się, że:

1. shuf wyczerpuje pamięć
2. Używanie $RANDOMnie będzie działać poprawnie, jeśli plik przekroczy 32767 linii

Jeśli nie potrzebujesz „dokładnie” n próbkowanych linii , możesz próbkować taki współczynnik :

cat input.txt | awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01) print $0}' > sample.txt

Ten wykorzystuje stałą pamięć , próbki 1% pliku (jeśli wiesz liczbę wierszy w pliku można dostosować ten czynnik do próbki blisko do ograniczonej liczby linii) i współpracuje z dowolnym rozmiarze pliku, ale to nie będzie zwraca dokładną liczbę wierszy, tylko współczynnik statystyczny.

Uwaga: kod pochodzi z: https://stackoverflow.com/questions/692312/randomly-pick-lines-from-a-file-without-slurping-it-with-unix

Podobne do probabilistycznego rozwiązania @ Txangel, ale zbliża się 100 razy szybciej.

perl -ne 'print if (rand() < .01)' huge_file.csv > sample.csv

Jeśli potrzebujesz wysokiej wydajności, dokładnej wielkości próbki i z przyjemnością żyjesz z przerwą na próbkę na końcu pliku, możesz zrobić coś takiego: (próbkuje 1000 linii z pliku linii 1m):

perl -ne 'print if (rand() < .0012)' huge_file.csv | head -1000 > sample.csv

.. lub w rzeczywistości łańcuch drugiej metody próbnej zamiast head.

Jeśli w przypadku shuf -ndużych plików zabraknie pamięci i nadal potrzebujesz próbki o stałym rozmiarze i można zainstalować narzędzie zewnętrzne, wypróbuj próbkę :

$ sample -N 1000 < FILE_WITH_MILLIONS_OF_LINES 

Zastrzeżenie polega na tym, że próbka (1000 linii w przykładzie) musi zmieścić się w pamięci.

Oświadczenie: Jestem autorem zalecanego oprogramowania.

Nie znam żadnego pojedynczego polecenia, które mogłoby zrobić to, o co prosisz, ale oto pętla, którą razem stworzyłem:

for i in `seq 1000`; do sed -n `echo $RANDOM % 1000000 | bc`p alargefile.txt; done > sample.txt

sedodbierze losową linię na każdym z 1000 przejść. Być może istnieją bardziej wydajne rozwiązania.

Możesz zapisać następujący kod w pliku (na przykład randextract.sh) i wykonać jako:

randextract.sh file.txt

---- ROZPOCZNIJ PLIK ----

#!/bin/sh -xv

#configuration MAX_LINES is the number of lines to extract
MAX_LINES=10

#number of lines in the file (is a limit)
NUM_LINES=`wc -l $1 | cut -d' ' -f1`

#generate a random number
#in bash the variable $RANDOM returns diferent values on each call
if [ "$RANDOM." != "$RANDOM." ]
then
    #bigger number (0 to 3276732767)
    RAND=$RANDOM$RANDOM
else
    RAND=`date +'%s'`
fi 

#The start line
START_LINE=`expr $RAND % '(' $NUM_LINES - $MAX_LINES ')'`

tail -n +$START_LINE $1 | head -n $MAX_LINES

---- PLIK KOŃCOWY ----

Jeśli znasz liczbę wierszy w pliku (np. 1e6 w twoim przypadku), możesz:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Jeśli nie, zawsze możesz to zrobić

awk -v n="$(wc -l < file)" -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Spowodowałoby to dwa przejścia do pliku, ale nadal pozwalałoby uniknąć przechowywania całego pliku w pamięci.

Kolejną zaletą w stosunku do GNU shufjest to, że zachowuje kolejność linii w pliku.

Zauważ, że zakłada n ona liczbę wierszy w pliku. Jeśli chcesz drukować pz tych pierwszych n linii pliku (który ma potencjalnie więcej linii), trzeba by zatrzymać awkw n^XX linii, takich jak:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}
  !n {exit}' < file

Lubię używać awk do tego, gdy chcę zachować wiersz nagłówka i kiedy próbka może stanowić przybliżony procent pliku. Działa dla bardzo dużych plików:

awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01 || FNR==1) print > "data-sample.txt"}' data.txt

Lub tak:

LINES=$(wc -l < file)  
RANDLINE=$[ $RANDOM % $LINES ]  
tail -n $RANDLINE  < file|head -1  

Ze strony podręcznika użytkownika bash:

        RANDOM Za każdym razem, gdy odwołuje się do tego parametru, losowa liczba całkowita
              generowane jest od 0 do 32767. Sekwencja losowa
              liczby mogą być inicjalizowane poprzez przypisanie wartości do RAN-
              DOM. Jeśli RANDOM jest rozbrojony, traci swoje specjalne właściwości
              więzi, nawet jeśli następnie zostaną zresetowane.

Jeśli rozmiar pliku nie jest ogromny, możesz użyć opcji Sortuj losowo. Trwa to trochę dłużej niż shuf, ale losuje całe dane. Możesz więc z łatwością wykonać następujące czynności, aby użyć głowicy zgodnie z żądaniem:

sort -R input | head -1000 > output

Spowoduje to sortowanie pliku losowo i otrzymanie pierwszych 1000 wierszy.

Jak wspomniano w przyjętej odpowiedzi, GNU całkiem dobrze shufobsługuje proste losowe próbkowanie ( shuf -n). Jeśli shufpotrzebne są metody próbkowania wykraczające poza obsługiwane przez , należy rozważyć tsv-sample z TSV Utilities na eBayu . Obsługuje kilka dodatkowych trybów próbkowania, w tym ważone losowe próbkowanie, próbkowanie Bernoulliego i próbkowanie odrębne. Wydajność jest podobna do GNU shuf(oba są dość szybkie). Oświadczenie: Jestem autorem.