Intuicyjne wyjaśnienie zbieżności w rozkładzie i zbieżności w prawdopodobieństwie

Jaka jest intuicyjna różnica między zmienną losową zbieżną w prawdopodobieństwie a zmienną losową zbieżną w rozkładzie?

Przeczytałem wiele definicji i równań matematycznych, ale to naprawdę nie pomaga. (Należy pamiętać, że jestem studentem licencjackim studiującym ekonometrię).

W jaki sposób zmienna losowa może zbiegać się w jedną liczbę, ale także w rozkład?

W jaki sposób liczba losowa może zbiegać się w stałą?

Powiedzmy, że masz piłek w pudełku. Możesz je wybrać jeden po drugim. Po wybraniu k piłek pytam: jaka jest średnia waga piłek w pudełku? Twoja najlepsza odpowiedź to ˉ x k = $N$$k$. Zdajesz sobie sprawę, że ˉ x kjest wartością losową? To zależy od tego, którekkulki wybrałeś jako pierwsze.$\bar x_k=\frac{1}{k}\sum_{i=1}^kx_i$$\bar x_k$$k$

Teraz, jeśli będziesz ciągnął piłki, w pewnym momencie w pudełku nie pozostaną żadne kule, a otrzymasz .$\bar x_N\equiv\mu$

Mamy więc losową sekwencję która zbiega się ze stałą ˉ x N = μ . Zatem kluczem do zrozumienia problemu ze zbieżnością prawdopodobieństwa jest uświadomienie sobie, że mówimy o sekwencji zmiennych losowych, skonstruowanych w określony sposób .

Następnie uzyskajmy jednolite liczby losowe , gdzie e i ∈ [ 0 , 1 ] . Spójrzmy na losową sekwencję ξ 1 , ξ 2 , … , gdzie ξ k = $e_1,e_2,\dots$$e_i\in [0,1]$$\xi_1,\xi_2,\dots$. Ξkjest wartością losową, ponieważ wszystkie jej warunki są wartościami losowymi. Nie możemy przewidzieć, co jestξkbędzie. Jednak okazuje się, że możemy twierdzić, że rozkłady prawdopodobieństwaĘkbędzie wyglądać bardziej jak standardowy normalnyN(0,1). W ten sposób zbiegają się rozkłady.$\xi_k=\frac{1}{\sqrt{\frac{k}{12}}}\sum_{i=1}^k \left(e_i- \frac{1}{2} \right)$$\xi_k$$\xi_k$$\xi_k$$\mathcal{N}(0,1)$

Nie jest jasne, ile intuicji może mieć czytelnik tego pytania na temat zbieżności czegokolwiek, nie mówiąc już o zmiennych losowych, więc napiszę tak, jakby odpowiedź była „bardzo mała”. Coś, co może pomóc: zamiast myślenia „jak można zmienną losową Converge”, zapytać, jak ciągiem zmiennych losowych może zbiegać. Innymi słowy, nie jest to tylko jedna zmienna, ale (nieskończenie długa!) Lista zmiennych, a te późniejsze na liście są coraz bliżej ... czegoś. Być może pojedynczy numer, może cała dystrybucja. Aby rozwinąć intuicję, musimy ustalić, co oznacza „coraz bliżej”. Przyczyną tak wielu trybów zbieżności zmiennych losowych jest to, że istnieje kilka rodzajów „

Najpierw podsumujmy zbieżność sekwencji liczb rzeczywistych. W możemy użyć odległości euklidesowej | x - y | aby zmierzyć, jak blisko x jest do y . Rozważ x n = n + $\mathbb{R}$ $|x-y|$$x$$y$ . Następnie sekwencjax1$x_n = \frac{n+1}{n} = 1 + \frac{1}{n}$ rozpoczyna 2 , $x_1, \, x_2, \, x_3, \dots$i twierdzę, żexn jestzbieżne do1. Wyraźniexnjest corazbliżejdo1, ale to jest również prawdą, żexnjest coraz bliżej do0,9. Na przykład, począwszy od trzeciego terminu, terminy w sekwencji są w odległości0,5lub mniej od0,9. Liczy się to, że zbliżają sięarbitralniedo1, ale nie do0,9. Żadne terminy w sekwencji nigdy niemieszczą się w zakresieod0,05do$2, \frac{3}{2}, \frac{4}{3}, \frac{5}{4}, \frac{6}{5}, \dots$$x_n$$1$$x_n$$1$$x_n$$0.9$$0.5$$0.9$$1$$0.9$$0.05$$0.9$, nie mówiąc już o trzymaniu się tak blisko kolejnych warunków. W przeciwieństwie do tego , czyli 0,05 od 1 , a wszystkie kolejne wyrażenia mieszczą się w przedziale 0,05 od 1 , jak pokazano poniżej.$x_{20}=1.05$$0.05$$1$$0.05$$1$

Mógłbym być bardziej rygorystyczny, a warunki popytu byłyby w granicach od 1 , aw tym przykładzie stwierdziłem, że jest to prawdą w odniesieniu do warunków N = 1000 i kolejnych. Co więcej, mógłbym wybrać dowolny ustalony próg bliskości ϵ , bez względu na to, jak rygorystyczny (z wyjątkiem ϵ = 0 , tzn. Że faktycznie jest to 1 ), a ostatecznie warunek | x n - x | < ϵ będzie spełnione dla wszystkich terminów poza określonym terminem (symbolicznie: dla n > N , gdzie wartość $0.001$$1$$N=1000$$\epsilon$$\epsilon = 0$$1$$|x_n - x| \lt \epsilon$$n \gt N$$N$zależy od tego, jak surowo wybrałem). W przypadku bardziej wyrafinowanych przykładów należy zauważyć, że niekoniecznie jestem zainteresowany pierwszym spełnieniem warunku - następny warunek może nie być zgodny z tym warunkiem i jest w porządku, o ile mogę znaleźć termin w kolejności, dla której warunek jest spełniony i pozostaje spełniony przez wszystkie późniejsze warunki. Ilustruję to dla x n = 1 + sin ( n $\epsilon$ , który również jest zbieżny do1, przy czymϵ=0,05ponownie zacienionym.$x_n = 1 + \frac{\sin(n)}{n}$$1$$\epsilon=0.05$

Rozważmy teraz i sekwencję zmiennych losowych X n = ( 1 + $X \sim U(0,1)$. Jest to sekwencja RV zX1=2X,X2=$X_n = \left(1 + \frac{1}{n}\right) X$$X_1 = 2X$,X3=$X_2 = \frac{3}{2} X$i tak dalej. W jakim sensie możemy powiedzieć, że zbliża się to dosamegoX?$X_3 = \frac{4}{3} X$$X$

Ponieważ i X są rozkładami, a nie tylko pojedynczymi liczbami, warunek | X n - X | < ϵ jest teraz zdarzeniem : nawet dla ustalonego n i ϵ może się to zdarzyć lub nie . Uwzględnienie prawdopodobieństwa, że ​​zostanie ono spełnione, prowadzi do zbieżności prawdopodobieństwa . Dla X n p → X chcemy prawdopodobieństwa uzupełniającego P ( | X n - X | ≥ ϵ $X_n$$X$$|X_n - X| \lt \epsilon$$n$$\epsilon$$X_n \overset{p}{\to} X$$P(|X_n - X| \ge \epsilon)$- intuicyjnie, prawdopodobieństwo, że jest nieco inne (o co najmniej ϵ ) od X - stanie się dowolnie małe, dla wystarczająco dużego n . Dla stałej ϵ daje to całą sekwencję prawdopodobieństw , P ( | X 1 - X | ≥ ϵ ) , P ( | X 2 - X | ≥ ϵ ) , P ( | X 3 - X |$X_n$$\epsilon$$X$$n$$\epsilon$$P(|X_1 - X| \ge \epsilon)$$P(|X_2 - X| \ge \epsilon)$ , ... , a jeśli ta sekwencja prawdopodobieństw zbieżny do zera (jak to ma miejsce w tym przykładzie), to mówimy X n zbiega się prawdopodobieństwo X . Należy zauważyć, że ograniczenia prawdopodobieństwa są często stałymi: na przykład w regresji ekonometrii widzimy Plim ( β ) = β jak zwiększyć wielkość próbki n . Ale tutaj plim ( X n ) = X ∼ U ( 0 , 1 ) . W rzeczywistości zbieżność prawdopodobieństwa oznacza, że ​​jest mało prawdopodobne, że$P(|X_3 - X| \ge \epsilon)$$\dots$$X_n$$X$$\text{plim}(\hat \beta) = \beta$$n$$\text{plim}(X_n) = X \sim U(0,1)$ i X będą się znacznie różnić w zależności od konkretnej realizacji - i mogę sprawić, aby prawdopodobieństwo, że X n i X były dalej niż ϵ tak małe, jak mi się podoba, pod warunkiem, że wybiorę wystarczająco duże n .$X_n$$X$$X_n$$X$$\epsilon$$n$

Innym sposobem zbliżenia do X jest to, że ich rozkłady wyglądają coraz bardziej podobnie. Mogę to zmierzyć, porównując ich CDF. W szczególności wybierz trochę x, w którym F X ( x ) = P ( X ≤ x ) jest ciągłe (w naszym przykładzie X ∼ U ( 0 , 1 ), więc jego CDF jest ciągły wszędzie i każde x zrobi) i oceń CDF sekwencji X ns tam. Daje to kolejną sekwencję prawdopodobieństw,$X_n$$X$$x$$F_X(x) = P(X \leq x)$$X \sim U(0,1)$$x$$X_n$ , P ( X 2 ≤ x ) , P ( X 3 ≤ x ) , … i ta sekwencja jest zbieżna z P ( X ≤ x ) . CDF ocenione przy x dla każdego z X n stają się arbitralnie zbliżone do CDF z X oszacowane przy x . Jeśli ten wynik jest prawdziwy niezależnie od tego, który x wybraliśmy, wówczas X n jest zbieżny$P(X_1 \leq x)$$P(X_2 \leq x)$$P(X_3 \leq x)$$\dots$$P(X \leq x)$$x$$X_n$$X$$x$$x$$X_n$ w dystrybucji. Okazuje się to dzieje się tutaj, a my nie powinniśmy być zaskoczeni, ponieważ konwergencji prawdopodobieństwo X oznacza zbieżność w dystrybucji X . Zauważ, żenie może być tak, że X n zbiega się w prawdopodobieństwie do określonego rozkładu nie zdegenerowanego, ale zbiega się w rozkład do stałej. (Co było prawdopodobnie przyczyną nieporozumień w pierwotnym pytaniu? Zwróć jednak uwagę na wyjaśnienie później.)$X$ $X$$X$$X_n$

W innym przykładzie niech . Mamy teraz sekwencję RV,Y1∼U(1,2),Y2∼U(1,$Y_n \sim U(1, \frac{n+1}{n})$$Y_1 \sim U(1,2)$,Y3∼U(1,$Y_2 \sim U(1,\frac{3}{2})$,…i jasne jest, że rozkład prawdopodobieństwa degeneruje się do szczytu przyy=1. Rozważmy teraz rozkład zdegenerowanyY=1, przez co mam na myśliP(Y=1)=1. Łatwo zauważyć, że dla dowolnegoϵ>0sekwencjaP(|Yn-Y|≥ϵ)zbiega się do zera, tak żeYn jestzbieżne do$Y_3 \sim U(1,\frac{4}{3})$$\dots$$y=1$$Y=1$$P(Y=1)=1$$\epsilon \gt 0$$P(|Y_n - Y| \ge \epsilon)$$Y_n$$Y$w prawdopodobieństwie. W konsekwencji musi również zbiegać się w Y w rozkładzie, co możemy potwierdzić, biorąc pod uwagę CDF. Od CDF F Y ( y ) z Y jest nieciągła na y = 1, to nie musi uwzględniać cdfs oceniane tę wartość, ale dla cdfs ocenianych w innym Y widzimy, że sekwencja P ( Y 1 ≤ R ) , P ( Y 2 ≤ y ) , P ( Y 3$Y_n$$Y$$F_Y(y)$$Y$$y=1$$y$$P(Y_1 \leq y)$$P(Y_2 \leq y)$ , … jest zbieżne do P ( Y ≤ y ), który wynosi zero dla y < 1 i jeden dla y > 1 . Tym razem, ponieważ sekwencja RV zbiegała się w prawdopodobieństwie do stałej, zbiegała się również w rozkładzie do stałej.$P(Y_3 \leq y)$$\dots$$P(Y \leq y)$$y \lt 1$$y \gt 1$

Kilka ostatecznych wyjaśnień:

• Chociaż zbieżność prawdopodobieństwa implikuje zbieżność w rozkładzie, odwrotność jest ogólnie fałszywa. To, że dwie zmienne mają taki sam rozkład, nie oznacza, że ​​prawdopodobnie będą musiały się do siebie zbliżyć. Do banalnej przykład przyjąć i Y, = 1 - X . Wówczas X i Y mają dokładnie taki sam rozkład (50% szans na zero lub jeden), a sekwencja X n = X, tj. Sekwencja idąca X , X , X , X , $X\sim\text{Bernouilli}(0.5)$$Y=1-X$$X$$Y$$X_n=X$$X,X,X,X,\dots$trywialnie zbiega się w rozkładzie do (CDF w dowolnej pozycji w sekwencji jest taki sam jak CDF z Y ). Ale Y i X są zawsze jedne od siebie, więc P ( | X n - Y | ≥ 0,5 ) = 1, więc nie dąży do zera, więc X n nie zbiega się w Y z prawdopodobieństwem. Jeśli jednak występuje zbieżność w rozkładzie do stałej , oznacza to zbieżność prawdopodobieństwa do tej stałej (intuicyjnie, w dalszej kolejności jest mało prawdopodobne, aby była daleka od tej stałej).$Y$$Y$$Y$$X$$P(|X_n - Y| \ge 0.5)=1$$X_n$$Y$
• Jak wyjaśniają moje przykłady, zbieżność prawdopodobieństwa może być stała, ale nie musi; zbieżność w dystrybucji może być również stała. Prawdopodobieństwo zbieżności do stałej nie jest możliwe, ale zbieżność w rozkładzie do określonego rozkładu nie zdegenerowanego lub odwrotnie.
• Czy to możliwe, że widziałeś przykład, w którym na przykład powiedziano ci, że sekwencja zbiega inną sekwencję Y n ? Być może nie zdawałeś sobie sprawy, że to sekwencja, ale rozdawanie byłoby, gdyby był rozkładem zależnym również od n . Może się zdarzyć, że obie sekwencje zbiegną się w stałą (tj. Rozkład zdegenerowany). Twoje pytanie sugeruje, że zastanawiasz się, w jaki sposób konkretna sekwencja RV mogłaby zbiegać się zarówno do stałej, jak i do rozkładu; Zastanawiam się, czy to opisywany scenariusz.$X_n$ $Y_n$$n$
• Moje obecne wyjaśnienie nie jest zbyt „intuicyjne” - miałem zamiar uczynić intuicję graficzną, ale nie miałem jeszcze czasu na dodanie wykresów dla pojazdów kempingowych.

Moim zdaniem wszystkie istniejące odpowiedzi zawierają użyteczne punkty, ale nie wprowadzają wyraźnego rozróżnienia między dwoma trybami konwergencji.

Niech , n = 1 , 2 , … i Y będą zmiennymi losowymi. Dla intuicji wyobraź sobie, że X n przypisuje się swoim wartościom w jakimś losowym eksperymencie, który zmienia się nieco dla każdego n , dając nieskończoną sekwencję losowych zmiennych, i załóżmy, że Y otrzymuje swoją wartość w innym losowym eksperymencie.$X_n$$n=1,2,\dots$$Y$$X_n$$n$$Y$

Jeśli , z definicji mamy, że prawdopodobieństwo, że Y i X n różnią się między sobą pewną arbitralnie małą ilością, zbliża się do zera jako n → ∞ , dla tak małej ilości, jak tylko chcesz. Luźno mówiąc, daleko w sekwencji X n , jesteśmy pewni, że X n i Y przyjmą wartości bardzo blisko siebie.$X_n\overset{p}{\to}Y$$Y$$X_n$$n\to\infty$$X_n$$X_n$$Y$

Z drugiej strony, jeśli mamy tylko zbieżność w rozkładzie, a nie zbieżność w prawdopodobieństwie, to wiemy, że dla dużego , P ( X n ≤ x ) jest prawie takie samo jak P ( Y ≤ x ) , dla prawie dowolnego x . Zauważ, że ten nie mówi nic o tym, jak blisko wartości X n i Y mają się do siebie. Na przykład, jeśli Y ∼ N ( 0 , 10 10 ) , a zatem X $n$$P(X_n\leq x)$$P(Y\leq x)$$x$$X_n$$Y$$Y\sim N(0, 10^{10})$$X_n$jest również bardzo podobny do tego dla dużych , to intuicyjnie wydaje się prawdopodobne, że wartości X n i Y będą się znacznie różnić w każdej obserwacji. W końcu, jeśli nie ma na nich żadnych ograniczeń oprócz zbieżności w rozkładzie, mogą bardzo dobrze ze wszystkich praktycznych powodów być niezależnymi zmiennymi N ( 0 , 10 10 ) .$n$$X_n$$Y$$N(0,10^{10})$

(W niektórych przypadkach porównanie i Y może nie mieć sensu , może nawet nie są zdefiniowane w tej samej przestrzeni prawdopodobieństwa. Jest to jednak uwaga bardziej techniczna).$X_n$$Y$

Nie rozumiem, w jaki sposób zmienna losowa może zbiegać się w jedną liczbę, ale także w rozkład?

Jeśli uczysz się ekonometrii, prawdopodobnie zastanawiasz się nad tym w kontekście modelu regresji. Zbiega się do rozkładu zdegenerowanego, do stałej. Ale coś innego ma nie-zdegenerowane ograniczenie.

zbieżny z prawdopodobieństwemp, jeżeli spełnione są niezbędne założenia. Oznacza to, że wybierając wystarczająco dużą próbkęN, estymator będzie tak blisko, jak chcemy prawdziwego parametru, z prawdopodobieństwem, że będzie on tak daleko, jak chcemy. Jeśli myślisz o wykreślenie histogram p ndla różnychn, to w końcu być tylko skok na środkubeta.$\hat{\beta}_n$$\beta$$N$$\hat{\beta}_n$$n$$\beta$

In what sense does $\hat{\beta}_n$ converge in distribution? It also converges to a constant. Not to a normally distributed random variable. If you compute the variance of $\hat{\beta}_n$ you see that it shrinks with $n$. So eventually it will go to zero in large enough $n$, which is why the estimator goes to a constant. What does converge to a normally distributed random variable is

. Jeśli weźmiesz wariancję, zobaczysz, że nie zmniejsza się (ani nie rośnie) zn. W bardzo dużych próbkach będzie to w przybliżeniuN(0,σ2)przy standardowych założeniach. Następnie można użyć tego przybliżenia przybliżeniu rozkład p n, w tym dużej próbce.$\sqrt{n}(\hat{\beta}_n - \beta)$$n$$N(0, \sigma^2)$$\hat{\beta}_n$

Ale masz rację, że ograniczenie dystrybucji p n jest również stała.$\hat{\beta}_n$

Pozwól, że spróbuję udzielić bardzo krótkiej odpowiedzi, używając kilku bardzo prostych przykładów.

Konwergencja w dystrybucji

Niech , dla wszystkich n, następnieXnzbiega sięw rozkładzieX∼N(0,1). Losowość realizacjiXnnie zmienia się jednak z czasem. Jeśli musimy przewidzieć wartośćXn, oczekiwanie naszego błędu nie zmienia się z czasem.$X_n \sim N\left(\frac{1}{n}, 1 \right)$$X_n$$X \sim N(0, 1)$$X_n$$X_n$

Konwergencja prawdopodobieństwa

Teraz rozważyć zmiennej losowej , który przyjmuje wartość 0 z prawdopodobieństwem 1 - $Y_n$$0$$1-\frac{1}{n}$ and $1$ otherwise. As $n$ goes to infinity, we are more and more sure that $Y_n$ will equal $0$. Hence, we say $Y_n$ converges in probability to $0$. Note that this also implies $Y_n$ converges in distribution to $0$.