Czy ktoś może wyjaśnić różnicę między niezależnym a losowym?

21

Czy w statystyce niezależne i losowe opisują te same cechy? Jaka jest różnica między nimi? Często spotykamy się z opisem takim jak „dwie niezależne zmienne losowe” lub „losowe próbkowanie”. Zastanawiam się, jaka jest dokładnie różnica między nimi. Czy ktoś może to wyjaśnić i podać kilka przykładów? na przykład proces niezależny, ale losowy?

distributions sampling randomness

— Tiantianchen
źródło

Oto dwie odrębne (na niezbyt głębokim poziomie) koncepcje połączone. „Niezależne” w tym sensie niezależnie generowane obserwacje, a „niezależne zmienne” zapisują swoje rozkłady.

— ttnphns

3

To dziwne pytanie, ponieważ jeśli przejrzysz formalne definicje „zmiennej losowej” i „niezależnej” - co wydaje się sugerować „w statystykach” - odkryjesz, że mają niewiele wspólnego.

— whuber

@ttnphns, Tak, chyba bardziej myliłem się co do terminu „niezależnie generowane obserwacje” z „losowo wygenerowanym”. Podczas próbkowania często słyszymy (proste) losowe próbkowanie, co sprawia, że czuję się jak niezależne próbki. Myślę, że jeśli naprawdę chcemy połączyć obie cechy przy opisywaniu metody próbkowania, powinno to być: wybór obserwacji nie jest od siebie zależny (= niezależnie) i prawdopodobieństwo wyboru obserwacji jest znane (= losowo)?

— tiantianchen

1

Jeśli sprawdzimy definicję niezależności od wiki: „W teorii prawdopodobieństwa dwa zdarzenia są niezależne, statystycznie niezależne lub stochastycznie niezależne, jeśli wystąpienie jednego nie wpływa na prawdopodobieństwo drugiego.”, Należy oprzeć zależność dwóch obserwacji jak są generowane / wybierane, a nie jak wyglądają w danych. Zatem dwie identyczne obserwacje w przypadku, o którym wspomniałem powyżej, powinny być nadal niezależne.

— tiantianchen

2

Proszę nie mylić heurystycznego wyjaśnienia na początku jakiegokolwiek wpisu z Wikipedii z definicją. Definicja podana jest pod nagłówkiem „definicja” w tym samym artykule . To jest ta oferowana w odpowiedzi Tima tutaj.

— whuber

35

Spróbuję wyjaśnić to nietechnicznie: zmienna losowa opisuje wynik eksperymentu; nie możesz z góry wiedzieć, jaki będzie dokładny wynik, ale masz pewne informacje: wiesz, które wyniki są możliwe i, dla każdego wyniku, znasz jego prawdopodobieństwo.

Na przykład, jeśli rzucisz uczciwą monetą, nie wiesz z góry, czy dostaniesz głowę czy ogon, ale wiesz, że są to możliwe wyniki i wiesz, że każda z nich ma 50% szansy na wystąpienie.

Aby wyjaśnić niezależność, musisz rzucić dwie uczciwe monety. Po rzuceniu pierwszą monetą wiesz, że dla drugiego rzutu prawdopodobieństwo głowy wynosi nadal 50%, a dla ogona również. Jeśli pierwszy rzut nie ma wpływu na prawdopodobieństwo drugiego, oba rzuty są niezależne. Jeśli pierwszy rzut ma wpływ na prawdopodobieństwo drugiego rzutu, są one zależne.

Przykładem zależnych rzutów jest sklejenie dwóch monet.

3

Inną parą zmiennych zależnych byłoby „czy masz głowy” i „czy masz ogony”. Oba są losowe, ale nie są od siebie niezależne.

— user253751,

3

@immibis Lub rzuć uczciwą kostką, zapisz wartość. następnie rzuć go jeszcze raz i pomnóż wartość przez zapisaną wartość. Ta wartość jest losowa, ale zależy od pierwszego rzutu.

— Crowley,

8

Losowe odnosi się do zmiennej losowej , a niezależne odnosi się do niezależności probabilistycznej. Przez niezależność rozumiemy, że obserwacja jednej zmiennej nie mówi nam nic o drugiej, lub bardziej formalnie, jeśli i są dwiema losowymi zmiennymi, to mówimy, że są one niezależne, jeśli $X$ $Y$

p_{X, Y} (x, y) = p_{X} (x) p_{Y} (y)

$p_{X,Y}(x, y) = p_X(x)\,p_Y(y)$

co więcej

E (X Y) = E (X) E (Y)

$E(XY) = E(X)E(Y)$

a ich kowariancja wynosi zero. Zmienna losowa jest zależna od , czy może on być napisany w zależności od $Y$ $X$ $X$

Y = f (X)

$Y = f(X)$

Więc w tym przypadku jest losowa i zależny na . $Y$ $X$

Proces nazywania „niezależny” jest dość mylący - niezależnie od czego? Myślę, że miałeś na myśli, że istnieją pewne niezależne i identycznie rozmieszczone zmienne losowe (sprawdź tutaj lub tutaj ), które pochodzą z jakiegoś procesu. Przez niezależne rozumiemy tutaj, że są od siebie niezależni. Istnieją procesy produkujące zależne zmienne losowe, np $X_1,\dots,X_k$

X_{i} = X_{i - 1} + ε

$X_i = X_{i-1} + \varepsilon$

gdzie jest przypadkowym hałasem. Oczywiście w takim przypadku jest zależne od , ale jest również losowe. $\varepsilon$ $X_i$ $X_{i-1}$

— Tim
źródło

Co oznacza

jeśli X jest zmienną losową? Myślę, że mylisz RV i zdarzenia: dwa RV X i Y są niezależne, jeśli zdarzenia

i

są niezależne dla wszystkich r, s

P (X)

$P(X)$

P (X \leq r)

$P(X\leq r)$

P (Y \leq s)

$P(Y\leq s)$

— Matthew Towers

Następnie dowolne dwie ciągłe zmienne losowe są niezależne.

— Matthew Towers

@m_t_ Naprawdę nie sądzę, że omawianie notacji prowadzi nigdzie (patrz np. en.wikipedia.org/wiki/… )

— Tim

1

@m_t_ to jest dzielenie włosów, patrz stats.stackexchange.com/questions/16321/… lub math.ucsd.edu/~napkaria/crypto/handouts/IndepDepRV.pdf

— Tim

2

@tiantianchen na odwrót: jeśli masz zmienne losowe, możesz skonstruować funkcję wiarygodności poprzez pomnożenie poszczególnych plików pdf, ponieważ są one niezależne.

— Tim

1

Zmienne są używane we wszystkich dziedzinach matematyki. Definicje niezależności i losowości zmiennej są stosowane jednostronnie do wszystkich form matematyki, nie tylko do statystyki.

Na przykład osie X i Y w dwuwymiarowej geometrii euklidesowej reprezentują zmienne niezależne, jednak ich wartości nie są (zwykle) przypisywane losowo.

Dwie podane zmienne mogą być losowe lub niezależne (od siebie), lub obie, lub żadna z nich. Statystyki zwykle koncentrują się na losowości (bardziej poprawnie, na prawdopodobieństwie), a to, czy dwie zmienne są niezależne, może mieć wiele implikacji dla prawdopodobieństwa zaobserwowania wyników.

Zazwyczaj te dwie właściwości (niezależność i losowość) są opisywane razem podczas badania statystyki, ponieważ obie są ważne, aby wiedzieć i mogą wpływać na odpowiedź na pytanie. Jednak te właściwości nie są synonimami, a w innych dziedzinach matematyki niekoniecznie występują razem.

— Steve-O
źródło

Dzięki. Czy możesz wyjaśnić więcej, że „to, czy dwie zmienne są niezależne, może mieć wiele implikacji dla prawdopodobieństwa zaobserwowania wyników”.

— tiantianchen

3

Jest to odpowiedź niestatystyczna, która odnosi się do innego poczucia „niezależności” niż ta stosowana w pytaniu. Mylą także dwa zmysły „zmiennej”: jeden jest matematyczny, a drugi statystyczną definicją zmiennej losowej (która zdecydowanie nie jest taka sama jak zmienna na osiach geometrycznych).

— whuber

1

Pojęcie niezależności jest względne, podczas gdy sam możesz być losowy. W twoim przykładzie masz „dwie niezależne zmienne losowe” i nie musisz mówić o kilku „losowych próbkach”.

Załóżmy, że rzuciłeś doskonałą kostkę kilka razy. Wynik jest z góry losowy. Znając przeszłość, nie można przewidzieć liczby po 4. Załóżmy, że generuję sekwencję z drugiej strony kości: , . Mam . Jest tak losowy jak pierwszy. Nie możesz zgadnąć, co nastąpi po . Ale te dwie sekwencje są całkowicie zależne. $6,5,3,5, 4\ldots$ $6\to1$ $3\to4$ $1,2,4,2, 3\ldots$ $3$

Jeśli ktoś rzuci dwie kości równolegle (bez interakcji między nimi), ich odpowiednie sekwencje będą losowe i niezależne.

— Laurent Duval
źródło

1

Może to być nieco techniczne, biorąc pod uwagę poziom OP, ale jeśli chodzi o stwierdzenie „Nie możesz być niezależny (od czegoś) sam (jako proces, sekwencja)”, weź pod uwagę następujące kwestie: Każda zmienna losowa X, która jest równa stałej c z prawdopodobieństwem pierwszym jest niezależny od „wszystkiego”, w tym także od samego siebie. To znaczy, dla takiego X, X jest niezależny od X. Możesz to łatwo sprawdzić zgodnie z definicją niezależności.

— Mark L. Stone,

X

$X$

X

$X$

X

$X$

X jest niezależny od siebie. To znaczy, X jest niezależny od X.

— Mark L. Stone,

0

Gdy masz parę wartości, gdy pierwsza jest generowana losowo, a druga jest zależna od pierwszej. np. wzrost i waga mężczyzny. Istnieje między nimi korelacja. Ale oba są losowe.

— skarabeusz
źródło

Chociaż ten post używa słów „losowy” i „zależny”, nie definiuje ich ani nie rozróżnia. Rzeczywiście wydaje się sugerować, że „losowy = zależny”!

— whuber

0

Przykład monety jest świetną ilustracją zmiennej losowej i niezależnej. Dobrym sposobem, aby pomyśleć o zmiennej losowej, ale zależnej, byłaby następna karta wyciągnięta z buta z siedmioma taliami kart do gry, czyli prawdopodobieństwo dowolnego wyniku liczbowego zmienia się w zależności od wcześniej rozdanych kart, ale dopóki tylko jedna wartość karty nie pozostanie w bucie, wartość następnej karty pozostanie losowa.

— fantom
źródło

3

Prawdopodobnie warto zastąpić tutaj słowo „prawdopodobieństwo” słowem „prawdopodobieństwo”, ponieważ prawdopodobieństwo ma osobną definicję techniczną w statystykach

— Silverfish

1

Prawdopodobieństwo, które zależy od innych zdarzeń (często poprzednich zdarzeń, ale czasami oparte na wiedzy o przyszłych lub równoczesnych zdarzeniach - w rzeczywistości nie ma w tym kierunku kierunku czasowego) nazywa się prawdopodobieństwem warunkowym . Słowo prawdopodobieństwo jest używany w odniesieniu do pewnego rodzaju „prawdopodobieństwa w odwrotnej” (lub w ciągłej przypadku, gęstość prawdopodobieństwa) - to znaczy, jeden oblicza prawdopodobieństwo o wynikach (np dane) warunkowy na parametr modelu (s ), ale jeśli pomyślimy o tym na odwrót, to prawdopodobieństwo tego parametru, biorąc pod uwagę Twoje dane .

— Silverfish

1

π

$π$

π = 1 / 6

$π=1/6$

-1

David Bohm w swojej pracy Causality and Chance in Modern Physics (London: Routledge, 1957/1984) opisuje przyczynowość, szansę, losowość i niezależność:

„W naturze nic nie pozostaje stałe. Wszystko jest w ciągłym stanie transformacji, ruchu i zmiany. Jednak odkrywamy, że nic po prostu nie wyrasta z niczego bez wcześniejszych poprzedników. Podobnie, nic nigdy nie znika bez śladu, w poczucie, że nie powstaje absolutnie nic, co istniało później ... wszystko pochodzi z innych rzeczy i rodzi inne rzeczy. Ta zasada nie jest jeszcze stwierdzeniem istnienia przyczynowości w przyrodzie. następnym krokiem jest odnotowanie, że badając procesy zachodzące w szerokim zakresie warunków, odkrywamy, że w całej złożoności zmian i transformacji istnieją relacjektóre pozostają skutecznie stałe. .... W tym momencie spotykamy jednak nowy problem. Konieczność prawa przyczynowego nigdy nie jest absolutna. Widzimy zatem, że prawo natury należy postrzegać jako konieczne tylko wtedy, gdy wyodrębnia się z nieprzewidzianych okoliczności , reprezentując zasadniczo niezależne czynniki, które mogą istnieć poza zakresem rzeczy, które mogą być rozpatrywane przez rozpatrywane prawa, i które niekoniecznie muszą wynikać od wszystkiego, co może być określone w kontekście tych przepisów. Takie nieprzewidziane zdarzenia prowadzą do przypadku . ”(Str. 1-2)

„Tendencja, że sytuacje awaryjne leżące poza danym kontekstem zmieniają się niezależnie od wydarzeń w tym kontekście, okazała się tak powszechna, że można ją wypowiedzieć jako zasadę, a mianowicie zasadę losowości. Przez przypadek rozumiemy po prostu, że ta niezależność prowadzi na fluktuację tych nieprzewidzianych sytuacji w bardzo skomplikowany sposób w szerokim zakresie możliwości, ale w taki sposób, aby średnie statystyczne miały regularne i w przybliżeniu przewidywalne zachowanie ”. (str. 22)

— noumenal
źródło

3

0

$0$

1

$1$

1 / 3

$1/3$

4 / 7

$4/7$

3

Wydaje się, że dyskutujesz o procesach stochastycznych (w czasie), a nie o losowości i zmiennych losowych.

— whuber

4

Uważam, że część trudności, jakie napotykamy w komunikacji, polega na tym, że wydaje się, że myślisz o „niezależnym” w znaczeniu niezależnej zmiennej regresyjnej. Chociaż niektóre elementy pytania mogą to sugerować, zdania „dwie niezależne zmienne losowe” i „losowe próbkowanie” wskazują inaczej.

— whuber

1

Nie potrafię nawet powiedzieć, co rozumiesz, ponieważ twoja odpowiedź nie zawiera żadnych definicji. Zgaduję, co próbujesz powiedzieć na podstawie podanych przykładów i opisów. Wydają się różnić od zmysłów „losowy” i „niezależny” w sposób opisany w poprzednich komentarzach.

— whuber

1

Dodam do komentarzy @whuber, że twoja definicja wspominająca zmienne losowe wpływające na siebie może wprowadzać w błąd. „Wpływ” jest bardzo silnym terminem implikującym pewną przyczynowość itp., Podczas gdy formalna definicja niezależności nie wymaga żadnej przyczynowości ani wpływu, ale dotyczy po prostu relacji prawdopodobieństw wspólnych i indywidualnych.

— Tim