Co to są zmienne losowe iid?

49

Jak poszedłbyś wyjaśnić iid (niezależne i identycznie rozpowszechniane) osobom nietechnicznym?

random-variable intuition

— użytkownik333
źródło

55

Oznacza „niezależny i identycznie dystrybuowany”.

Dobrym przykładem jest seria rzutów uczciwej monety: moneta nie ma pamięci, więc wszystkie rzuty są „niezależne”.

I każdy rzut to 50:50 (głów: reszka), więc moneta jest i pozostaje sprawiedliwa - rozkład, z którego każdy rzut jest losowany, że tak powiem, jest i pozostaje taki sam: „identycznie rozdzielony”.

Dobrym punktem wyjścia byłaby strona Wikipedii .

::EDYTOWAĆ::

Kliknij ten link, aby dokładniej poznać tę koncepcję.

— vonjd
źródło

11

Zastanawiam się, czy przykład rzutu monetą fałszywie sprawiałby wrażenie, że każde wydarzenie musi być możliwe do zrealizowania ...

— Michael McGowan

1

Czy więc nie jest konieczne, aby zmienne losowe IID były jednakowo prawdopodobne? jeśli nie można ich zastosować, to jak można wyjaśnić „identycznie rozłożone”?

6

@Nalini „równoznaczne” nie jest synonimem „identycznie dystrybuowane”. Jeśli i są identyczne, oznacza to, że są pobierane z tego samego rozkładu, nie że wszystkie wartości w tym rozkładzie są jednakowo prawdopodobne (pomyśl rozkład normalny). i będą mieć taką samą wartość oczekiwaną, choć.

x

$x$

y

$y$

x

$x$

y

$y$

— Jason Morgan

Jeśli dwie zmienne są niezależne i rozkład normalny, ale mają różną średnią i wariancję, to czy nadal są wyświetlane?

— spurra

1

@spurra Nie wydaje mi się, że tak. Są po prostu niezależni

— użytkownik3595632

22

Wyjaśnienie nietechniczne:

Niezależność to bardzo ogólne pojęcie. Uważa się, że dwa zdarzenia są niezależne, jeśli wystąpienie jednego nie daje żadnych informacji na temat tego, czy drugie zdarzenie miało miejsce, czy nie. W szczególności na to, że przypisujemy drugie zdarzenie, nie ma wpływu wiedza, że pierwsze zdarzenie miało miejsce.

Przykład niezależnych wydarzeń, prawdopodobnie identycznie rozmieszczonych
Rozważ rzucenie dwiema różnymi monetami jedna po drugiej. Zakładając, że twój kciuk nie zmęczył się nadmiernie, gdy rzucił pierwszą monetą, rozsądnie jest założyć, że wiedza, że pierwsze rzucie monetą spowodowało Głowy, w żaden sposób nie wpływa na to, co uważasz za prawdopodobieństwo Głowy na drugim rzucie. Dwa zdarzenia są zdarzeniami niezależnymi .
${first coin toss resulted in Heads} and {second coin toss resulted in Heads}$
- Jeśli wiemy lub uparcie nalegamy, że obie monety mają różne prawdopodobieństwo uzyskania głów, wówczas wydarzenia nie są identycznie rozłożone.
- Jeśli wiemy lub założymy, że obie monety mają takie samo prawdopodobieństwo zbliżających się głów, wówczas powyższe zdarzenia są również identycznie rozmieszczone, co oznacza, że obie mają takie samo prawdopodobieństwo wystąpienia . Zauważ jednak, że jeśli , prawdopodobieństwo Głowy nie równa się prawdopodobieństwu Ogonów. Jak zauważono w jednym z komentarzy, „identyczny rozkład” nie jest tym samym, co „równie prawdopodobny”. $p$ $p$ $p = \frac 12$
Przykład identycznie rozmieszczonych, niezależnych zdarzeń
Rozważ urnę z dwiema kulkami, jedną czarną i jedną białą. Sięgamy do niego i wyciągamy dwie kule jedna po drugiej, losowo wybierając pierwszą (i to oczywiście określa kolor następnej piłki). Tak więc dwa równie prawdopodobne wyniki eksperymentu to (biały, czarny) i (czarny, biały), i widzimy, że pierwsza kula jest równie prawdopodobne, że będzie czarna lub biała, a więc druga piłka również równie dobrze jest czarna lub biały. Innymi słowy, wydarzenia pewnością są identycznie rozmieszczone, ale zdecydowanie są nie
${first ball drawn is Black} and {second ball drawn is Black}$ $\{\text{first ball drawn is Black}\}~~\text{and}~~\{\text{second ball drawn is Black}\}$ niezależne wydarzenia. Rzeczywiście, jeśli wiemy, że pierwsze zdarzenie miało miejsce, wiemy na pewno, że drugie nie może się zdarzyć. Tak więc, chociaż nasza początkowa ocena prawdopodobieństwa drugiego zdarzenia wynosi , gdy wiemy, że miało miejsce pierwsze zdarzenie, najlepiej zrewidować naszą ocenę prawdopodobieństwa drugiego losowania będzie czarną od do . $\frac 12$ $\frac 12$ $0$

— Dilip Sarwate
źródło

„Jak zauważono w jednym z komentarzy,„ identyczny rozkład ”to nie to samo co„ równie prawdopodobne ”.„ Jaka jest różnica? „równie prawdopodobne” oznacza, że głowy są równie prawdopodobne jak ogony? Podczas gdy „identycznie rozmieszczone” oznacza, że każde zdarzenie ma takie samo prawdopodobieństwo wystąpienia głów?

— The Red Pea

3

@TheRedPea Niezupełnie. Jeśli mamy tendencyjną monetę, która pokazuje H z prawdopodobieństwem , to zdarzenia „First Toss is H” i zdarzenie „Second Toss is H” są niezależne i równie prawdopodobne (oba mają prawdopodobieństwo ). Ponadto rzuty są identycznie rozmieszczone: oba mają takie same prawdopodobieństwa ( i dla H i T) w różnych rzutach. Jednak zdarzenia „First Toss is H” i „First Toss is T” nie są równie prawdopodobne . Nie są też niezależni. Identyczny rozkład = wszystkie rzuty mają taki sam rozkład .

p \neq \frac{1}{2}

$p \ne \frac 12$

p

$p$

p

$p$

1 - p

$1-p$

— Dilip Sarwate

2

n

$n$

\frac{1}{n}

$\frac 1n$

OK, więc identyczny rozkład odnosi się do całego rozkładu prawdopodobieństwa, podczas gdy równe prawdopodobieństwo odnosi się do części tego rozkładu prawdopodobieństwa. Teraz rozumiem, dziękuję.

— The Red Pea

Nie jestem pewien, czy ostatni przykład był identycznie dystrybuowany. Czy można argumentować, że „ jeśli dwa zdarzenia nie są niezależne, nie mogą pochodzić z identycznych dystrybucji”? Na przykład w twoim przykładzie powiedziałbym, że drugie losowanie piłki ma inny rozkład ze względu na pierwsze zdarzenie.

— jiggunjer

3

Zmienna losowa to zmienna, która zawiera prawdopodobieństwo wszystkich możliwych zdarzeń w scenariuszu. Na przykład, stwórzmy losową zmienną, która reprezentuje liczbę głów na 100 rzutów monetą. Zmienna losowa będzie zawierać prawdopodobieństwo uzyskania 1 głów, 2 głów, 3 głów ... aż do 100 głów. Nazwijmy tę zmienną losową X .

Jeśli masz dwie zmienne losowe, to są one IID (niezależnie identycznie rozmieszczone), jeśli:

Jeśli są niezależni . Jak wyjaśniono powyżej, niezależność oznacza, że wystąpienie jednego zdarzenia nie dostarcza żadnych informacji na temat drugiego zdarzenia. Na przykład, jeśli dostanę 100 głów po 100 uderzeniach, prawdopodobieństwo uzyskania głów lub ogonów w następnym rzucie jest takie samo.
Jeśli każda losowa zmienna ma ten sam rozkład . Na przykład, weźmy zmienną losową z góry - X . Powiedzmy, że X reprezentuje Obamę, który rzuci monetą 100 razy. Powiedzmy teraz, że Y reprezentuje Kapłana, który rzuci monetą 100 razy. Jeśli Obama i kapłan rzucają monetami z takim samym prawdopodobieństwem wylądowania na głowach, wówczas X i Y uważa się za identycznie rozmieszczone. Jeśli wielokrotnie pobieramy próbki od Kapłana lub Obamy, próbki są uważane za identycznie rozłożone.

Uwaga dodatkowa: Niezależność oznacza również, że możesz pomnożyć prawdopodobieństwa. Załóżmy, że prawdopodobieństwo głów wynosi p, a prawdopodobieństwo uzyskania dwóch głów z rzędu wynosi p * p lub p ^ 2.

— thebajo
źródło

2

Na tym przykładzie pokazano, że dwie zmienne zależne mogą mieć taki sam rozkład:

Załóżmy, że dwa kolejne eksperymenty obejmują każde 100 rzutów monetą o tendencyjnym kursie, przy czym całkowita liczba głowy jest modelowana jako zmienna losowa X1 dla pierwszego eksperymentu i X2 dla drugiego eksperymentu. X1 i X2 są dwumianowymi zmiennymi losowymi o parametrach 100 ip, gdzie p jest nastawieniem monety.
Jako takie są one identycznie dystrybuowane. Nie są one jednak niezależne, ponieważ wartość tego pierwszego jest dość pouczająca o wartości tego drugiego. To znaczy, jeśli wynik pierwszego eksperymentu wynosi 100 głów, to mówi nam wiele o nastawieniu monety, a zatem daje nam wiele nowych informacji dotyczących rozkładu X2.
Nadal X2 i X1 są identycznie rozmieszczone, ponieważ pochodzą z tej samej monety.

Prawdą jest również to, że jeśli 2 zmienne losowe są zależne, to późniejszy X2 przy danym X1 nigdy nie będzie taki sam jak wcześniejszy X2 i odwrotnie. Podczas gdy X1 i X2 są niezależne, ich potomkowie są równi swoim przeorom. Dlatego, gdy dwie zmienne są zależne, obserwacja jednej z nich skutkuje zrewidowanymi szacunkami dotyczącymi rozkładu drugiej. Nadal oba mogą pochodzić z tej samej dystrybucji, po prostu dowiadujemy się w trakcie procesu więcej o naturze tej dystrybucji. Wracając do eksperymentów rzutu monetą, początkowo przy braku jakichkolwiek informacji możemy założyć, że X1 i X2 mają rozkład dwumianowy o parametrach 100 i 0,5. Ale po zaobserwowaniu 100 głów w jednym rzędzie z pewnością zmienilibyśmy nasze oszacowanie dotyczące parametru p, aby zbliżyć się do 1.

— rf7
źródło

1

Agregacja kilku losowych losowań z tego samego rozkładu. Przykładem może być wyciągnięcie marmuru z torby 10 000 razy i liczenie razy, kiedy wyciągasz czerwony marmur.

— Caleb
źródło

1

Czy możesz rozwinąć sposób, w jaki to dodaje do istniejących odpowiedzi?

— mdewey,

0

$X$ $\mu=3$ $\sigma^2=4$ $X \sim N(3 , 4)$

$Y$ $Y \sim N(3, 4)$ $X$ $Y$

Niemniej jednak identyczne rozmieszczenie niekoniecznie oznacza niezależność.

— S Jalal
źródło

8

Musisz mieć na uwadze interesujący zestaw „osób nietechnicznych”, kiedy polegasz na terminach technicznych takich jak „zmienna losowa”, „rozkład normalny”, „pdf”, „wariancja” i „niezależność”. Zaryzykowałbym stwierdzenie, że to pusty zestaw.

— whuber

„ identyczna dystrybucja niekoniecznie oznacza niezależność ”. W jaki sposób zależność może wpływać na dwie identycznie rozmieszczone zmienne? Wydaje mi się, że zależność powoduje nieidentyczność, ale nie cała nieidentyczność wynika z zależności .

— jiggunjer