Czy wprowadzi to uprzedzenia do liczb losowych?

Załóżmy, że plik danych ma ponad 80 milionów zer i zer, losowo generowanych.

Z tego pliku chcemy utworzyć listę losowych liczb całkowitych dziesiętnych.

Taki jest plan przeprowadzenia tej konwersji.

Podziel 80 milionów cyfr na grupy 4 cyfr binarnych.
Konwertuj każdy 4-cyfrowy plik binarny na dziesiętny.
Odrzuć wszystkie wartości dziesiętne większe niż 9.

Powinno to dać ciąg liczb losowych od 0 do 9

Oto troska. 24 cyfry binarne, które składają się z 6 grup 4 cyfr binarnych, które odpowiadają wartościom od 10 do 15, zawierają 17 jedynek i tylko 7 zer. Czy ta nierównowaga wpłynie na rozkład liczb całkowitych parzystych i nieparzystych, czy w jakikolwiek sposób wpłynie na losowość końcowego ciągu cyfr dziesiętnych?

Aktualizacja: z opublikowanych odpowiedzi wydaje się, że powyższa metoda jest poprawna. Zgadzam się z tym wnioskiem. Nadal jednak nie rozumiem, dlaczego usunięcie więcej niż dwa razy więcej zer od ciągu binarnego nie wpływa na wynik w kierunku mniejszej liczby nieparzystych. Szukam wyjaśnień.

monte-carlo random-generation randomness

— Joel W.
źródło

Istnieją bardziej wydajne metody. Na przykład, możesz podzielić ciąg bitów na grupy po 10, przekonwertować je na trzycyfrowe reprezentacje 10 i odrzucić dowolne o wartości 1000 lub większej. Wykorzystałoby to 97,6% bitów, a nie tylko 62,5%. Nie możesz zrobić nic lepszego. (Można użyć grup 681 i przekonwertować je na 205-cyfrowe ciągi base-10, wykorzystując w ten sposób prawie 99,7% bitów.)

— whuber

Odpowiedzi:

Policzmy i zobaczmy. Dzięki konstrukcji pliku wszystkie ciągi 4-bitowe są jednakowo prawdopodobne. Istnieje 16 takich ciągów. Tutaj są:

Twoja procedura wyrzuca ciągi od 10 do 15. Tak więc w przypadkach, których faktycznie używasz, wybierzesz od 0 do 9, z których każdy jest równie prawdopodobny, jak chcesz. Wiemy, że generowane cyfry dziesiętne są od siebie niezależne, ponieważ każdy używa osobnego ciągu 4 bitów, a wszystkie bity są niezależne. Twoja procedura stanowi prosty rodzaj próbkowania odrzucenia .

— Kodiolog
źródło

Widzę tę logikę wyraźnie. Obawiam się jednak, że odrzucam więcej binarnych jedynek niż 0. Dlaczego ta nierównowaga nie ma żadnego wpływu?

— Joel W.

@JoelW Chyba nie widzę twojego argumentu. Ostateczny rozkład dotyczy cyfr dziesiętnych, a nie bitów, więc rozkład bitów jest nieistotny.

— Kodiolog,

To prawda, ale tylko częściowo odpowiada na pytanie. Aby odnieść się do części pytania „kompromis losowości ... w jakikolwiek sposób”, należy również ustalić, że wynikowe cyfry dziesiętne są, w doskonałym przybliżeniu, niezależne . Dla kompletności warto poświęcić jedno zdanie wyjaśnienia temu (oczywistemu) wynikowi.

— whuber

Joel, widzę skąd pochodzisz. Może być tutaj błędne wyobrażenie: nie można odwrócić procesu. Jeśli chcesz zrekonstruować strumień bitów ze strumienia cyfr dziesiętnych, musisz zrobić coś takiego, jak usunąć wszystkie 8 i 9 i przekonwertować pozostałe cyfry na trzy binarne. To przywróci równowagę. W rzeczywistości łatwo zauważyć, że ta „podróż w obie strony” sprowadza się do rozbicia oryginalnego strumienia na czterobitowe wątki i odrzucenia ich najbardziej znaczących bitów, pozostawiając ładnie równomiernie rozłożoną sekwencję 60 milionów bitów.

— whuber

@whuber Fair; dodany.

— Kodiolog,

Nie ma uprzedzeń, ponieważ po prostu symulujesz niektóre wartości, które są odrzucane, a wszystkie wartości, w tym te, które są przechowywane, są generowane z takim samym prawdopodobieństwem:

Kod R dla powyższego wykresu to

generza=matrix(sample(0:1,4*1e6,rep=TRUE),ncol=4)
uniz=generza[,1]+2*generza[,2]+4*generza[,3]+8*generza[,4]
barplot(hist(uniz[uniz<10],breaks=seq(-0.5,9.5,le=11))$counts,col="steelblue")

— Xi'an
źródło