Jaki jest łatwy sposób na odczytanie losowej linii z pliku w linii poleceń Uniksa?

Jaki jest łatwy sposób na odczytanie losowej linii z pliku w linii poleceń Uniksa?

Możesz użyć shuf :

shuf -n 1 $FILE

Istnieje również narzędzie o nazwie rl. W Debianie jest w randomize-linespakiecie, który robi dokładnie to, co chcesz, choć nie jest dostępny we wszystkich dystrybucjach. Na swojej stronie głównej zaleca używanie shufzamiast niej (jak sądzę, która nie istniała podczas jej tworzenia). shufjest częścią jądra GNU, rlnie jest.

rl -c 1 $FILE

Inna alternatywa:

head -$((${RANDOM} % `wc -l < file` + 1)) file | tail -1

sort --random-sort $FILE | head -n 1

(Jeszcze bardziej podoba mi się powyższe podejście shuf - nawet nie wiedziałem, że istnieje i nigdy nie znalazłbym tego narzędzia na własną rękę)

To jest proste.

cat file.txt | shuf -n 1

To prawda, że ​​jest to tylko odrobinę wolniej niż sam plik „shuf -n 1 file.txt”.

perlfaq5: Jak wybrać losową linię z pliku? Oto algorytm próbkowania zbiornika z Księgi wielbłądów:

perl -e 'srand; rand($.) < 1 && ($line = $_) while <>; print $line;' file

Ma to znaczną przewagę w przestrzeni kosmicznej nad wczytywaniem całego pliku. Dowód tej metody można znaleźć w The Art of Computer Programming, Tom 2, Rozdział 3.4.2, Donalda E. Knutha.

za pomocą skryptu bash:

#!/bin/bash
# replace with file to read
FILE=tmp.txt
# count number of lines
NUM=$(wc - l < ${FILE})
# generate random number in range 0-NUM
let X=${RANDOM} % ${NUM} + 1
# extract X-th line
sed -n ${X}p ${FILE}

Linia pojedynczego uderzenia:

sed -n $((1+$RANDOM%`wc -l test.txt | cut -f 1 -d ' '`))p test.txt

Nieznaczny problem: zduplikowana nazwa pliku.

Oto prosty skrypt w języku Python, który wykona zadanie:

import random, sys
lines = open(sys.argv[1]).readlines()
print(lines[random.randrange(len(lines))])

Stosowanie:

python randline.py file_to_get_random_line_from

Innym sposobem jest użycie „ awk ”

awk NR==$((${RANDOM} % `wc -l < file.name` + 1)) file.name

Rozwiązanie, które działa również w systemie MacOSX i powinno również działać w systemie Linux (?):

N=5
awk 'NR==FNR {lineN[$1]; next}(FNR in lineN)' <(jot -r $N 1 $(wc -l < $file)) $file 

Gdzie:

• N to liczba losowych linii, którą chcesz

• NR==FNR {lineN[$1]; next}(FNR in lineN) file1 file2 -> zapisz numery linii zapisane, file1a następnie wydrukuj odpowiednią linięfile2

• jot -r $N 1 $(wc -l < $file)-> losuj Nliczby losowo ( -r) w zakresie (1, number_of_line_in_file)od jot. Podstawienie procesu <()sprawi, że będzie wyglądać jak plik dla interpretera, tak jak file1w poprzednim przykładzie.

#!/bin/bash

IFS=$'\n' wordsArray=($(<$1))

numWords=${#wordsArray[@]}
sizeOfNumWords=${#numWords}

while [ True ]
do
    for ((i=0; i<$sizeOfNumWords; i++))
    do
        let ranNumArray[$i]=$(( ( $RANDOM % 10 )  + 1 ))-1
        ranNumStr="$ranNumStr${ranNumArray[$i]}"
    done
    if [ $ranNumStr -le $numWords ]
    then
        break
    fi
    ranNumStr=""
done

noLeadZeroStr=$((10#$ranNumStr))
echo ${wordsArray[$noLeadZeroStr]}

Oto, co odkrywam, ponieważ mój system Mac OS nie używa wszystkich łatwych odpowiedzi. Użyłem polecenia jot do wygenerowania liczby, ponieważ zmienne $ RANDOM nie wydają się być zbyt losowe w moim teście. Podczas testowania mojego rozwiązania miałem dużą różnorodność rozwiązań dostarczonych w danych wyjściowych.

  RANDOM1=`jot -r 1 1 235886`
   #range of jot ( 1 235886 ) found from earlier wc -w /usr/share/dict/web2
   echo $RANDOM1
   head -n $RANDOM1 /usr/share/dict/web2 | tail -n 1

Echo zmiennej ma na celu uzyskanie wizualnej wygenerowanej liczby losowej.

Używając tylko waniliowej sed i awk oraz bez użycia $ RANDOM, prosty, zajmujący mało miejsca i stosunkowo szybki „jeden wiersz” do wybierania pseudolosowego pojedynczego wiersza z pliku o nazwie FILENAME jest następujący:

sed -n $(awk 'END {srand(); r=rand()*NR; if (r<NR) {sub(/\..*/,"",r); r++;}; print r}' FILENAME)p FILENAME

(Działa to nawet wtedy, gdy FILENAME jest pusta, w którym to przypadku nie jest emitowany żaden wiersz).

Jedną z możliwych zalet tego podejścia jest to, że wywołuje on rand () tylko raz.

Jak wskazał @AdamKatz w komentarzach, inną możliwością byłoby wywołanie rand () dla każdej linii:

awk 'rand() * NR < 1 { line = $0 } END { print line }' FILENAME

(Prosty dowód poprawności można podać na podstawie indukcji.)

Zastrzeżenie dotyczące rand()

„W większości implementacji awk, w tym gawk, rand () zaczyna generować liczby z tego samego numeru początkowego lub początkowego za każdym razem, gdy uruchamiasz awk.”

- https://www.gnu.org/software/gawk/manual/html_node/Numeric-Functions.html