Najlepsza metoda na pobranie losowej próbki ze zbioru plików

Załóżmy, że istnieje katalog zawierający 300 plików danych. Chcę losowo wybrać 200 z tych plików i przenieść je do innego katalogu. Czy jest na to sposób w Unix / Linux?

Jeśli twój system ma shuf, możesz użyć tego dość wygodnie (nawet radząc sobie z brzydkimi nazwami plików):

shuf -zen200 source/* | xargs -0 mv -t dest

Jeśli nie mają shuf, ale mają sortto trwa -R, to powinno działać:

find source -type f -print0 | sort -Rz | cut -d $'\0' -f-200 | xargs -0 mv -t dest

files=(*)
for (( i=0; i<200; i++ )); do
    keys=("${!files[@]}")
    rnd=$(( RANDOM % ${#keys[@]} ))
    key=${keys[$rnd]}
    mv "${files[$key]}" "$otherdir"
    unset files[$key]
done

Umieść wszystkie nazwy plików w tablicy o nazwie „pliki” w bash:

files=( * )

rozmiar tablicy:

echo ${#files[@]}

zdefiniuj 2/3 z nich jako wielkość próby:

take=$((2*${#files[@]}/3)) 

for i in $(seq 1 $take)
do
    r=$((RANDOM%${#files[@]})) 
    echo ${files[r]}
done

Spowoduje to wybranie duplikatów i tak jest nie testowane z nazwami plików z półfabrykatów i takie.

Najprostszym sposobem uniknięcia duplikatów jest iteracja wszystkich plików i wybranie każdego z szansą 2/3, ale niekoniecznie doprowadzi to do 200 plików.

Spowoduje to usunięcie pliku, jeśli został wybrany z listy i spełni twoje wymagania:

#!/bin/bash
files=( * )
# define 2/3 of them as sample size:
take=$((2*${#files[@]}/3)) 

while (( i < $take ))
do
    r=$((RANDOM%${#files[@]})) 
    f=${files[r]}
    if [[ -n $f ]]
    then 
        i=$((i+1))    
        echo ${files[r]}
        unset files[r]    
    fi
done

Jeśli to musi być statystycznie losowe, nie powinieneś używać RANDOM % ${#keys[@]}. Rozważać:

1. $RANDOM ma 32768 unikalnych wartości
2. Pierwszy wybór to 1 z 300 elementów
3. 32768 = 109 * 300 + 68

Tak więc, wybierając pierwszy element, istnieje szansa 110/32768 ~ = 0,33569% dla każdego z 68 pierwszych elementów i 109/32768 ~ = 0,33264% szansy na każdy z pozostałych 232 elementów do wyboru. Wybieranie jest powtarzane kilka razy z różnymi szansami, ale zawsze jest ukierunkowane na pierwsze elementy 32768 % ${#keys[@]} -ne 0, więc błąd się pogłębia.

Powinno to być bezstronne i działa z dowolną nazwą pliku:

while IFS= read -r -d '' -u 9
do
    mv -- "$REPLY" /target/dir
done 9< <(find /source/dir -mindepth 1 -print0 | shuf -n 200 -z)

Rozwiązanie Kevina działa świetnie! Coś innego, z czego często korzystałem, ponieważ łatwiej jest zapamiętać to z góry:

cp `ls | shuf -n 200` destination

Jedna wkładka w bash:

ls original_directory/|sort -R|head -number_of_files_to_move|while read file; do cp "new_directory/"$file test; done