Konwergencja prawdopodobieństwa a prawie pewna konwergencja

Nigdy tak naprawdę nie zastanawiałem się nad różnicą między tymi dwiema miarami konwergencji. (Lub, właściwie, każdy z różnych rodzajów zbieżności, ale wymieniam te dwa w szczególności ze względu na słabe i silne prawa wielkich liczb).

Jasne, mogę zacytować definicję każdego z nich i podać przykład, w którym różnią się one, ale wciąż nie rozumiem tego.

Jaki jest dobry sposób na zrozumienie różnicy? Dlaczego różnica jest ważna? Czy istnieje szczególnie pamiętny przykład, w którym się różnią?

Z mojego punktu widzenia różnica jest ważna, ale głównie z powodów filozoficznych. Załóżmy, że masz jakieś urządzenie, które z czasem się poprawia. Tak więc za każdym razem, gdy używasz urządzenia, prawdopodobieństwo jego awarii jest mniejsze niż przedtem.

Zbieżność prawdopodobieństwa mówi, że prawdopodobieństwo niepowodzenia spada do zera, gdy liczba zastosowań zbliża się do nieskończoności. Tak więc, po wielokrotnym użyciu urządzenia, możesz być bardzo pewny, że działa poprawnie, nadal może zawieść, jest to bardzo mało prawdopodobne.

Konwergencja prawie na pewno jest nieco silniejsza. Mówi, że całkowita liczba awarii jest skończona . Oznacza to, że jeśli policzysz liczbę awarii, gdy liczba zastosowań zbliża się do nieskończoności, otrzymasz liczbę skończoną. Wpływ tego jest następujący: w miarę używania urządzenia, po skończonej liczbie operacji wyczerpiesz wszystkie awarie. Od tego momentu urządzenie będzie działać idealnie .

Jak zauważa Srikant, tak naprawdę nie wiesz, kiedy wyczerpałeś wszystkie niepowodzenia, więc z czysto praktycznego punktu widzenia nie ma dużej różnicy między tymi dwoma trybami zbieżności.

Jednak osobiście cieszę się, że na przykład istnieje silne prawo dużej liczby, a nie tylko słabe prawo. Ponieważ teraz eksperyment naukowy mający na celu uzyskanie, powiedzmy, prędkości światła, jest uzasadniony przy przyjmowaniu średnich. Przynajmniej teoretycznie po uzyskaniu wystarczającej ilości danych można dowolnie zbliżyć się do prawdziwej prędkości światła. W procesie uśredniania nie wystąpią żadne awarie (jakkolwiek mało prawdopodobne).

Pozwól, że wyjaśnię, co rozumiem przez „błędy (jakkolwiek nieprawdopodobne) w procesie uśredniania”. Wybierz dowolnie dowolnie. Otrzymujesz n oszacowań X 1 , X 2 , … , X n prędkości światła (lub innej wielkości), która ma pewną „prawdziwą” wartość, powiedzmy μ . Obliczasz średnią S n = $\delta > 0$$n$$X_1,X_2,\dots,X_n$$\mu$ Jak uzyskać więcej danych (nzwiększa) można obliczyćSNdla każdejn=1,2,.... Słabe prawo mówi (przy niektórych założeniach oXn), że prawdopodobieństwo P(|Sn-μ|>δ)→0, gdynidzie do∞. Silne prawo mówi, że tyle razy| S

$$S_n = \frac{1}{n}\sum_{k=1}^n X_k.$$ $n$$S_n$$n = 1,2,\dots$$X_n$ $$P(|S_n - \mu| > \delta) \rightarrow 0$$ $n$$\infty$jest większy niż δ jest skończony (z prawdopodobieństwem 1). To znaczy, jeśli zdefiniujemy funkcję wskaźnika I ( | S n - μ | > δ ), która zwraca jedną, gdy | S n - μ | > δ i zero w przeciwnym razie, to ∞ ∑ n = 1 I ( | S n - μ | > δ ) zbiega się. Daje to znaczne zaufanie do wartości S $|S_n - \mu|$$\delta$$I(|S_n - \mu| > \delta)$$|S_n - \mu| > \delta$ $$\sum_{n=1}^{\infty}I(|S_n - \mu| > \delta)$$ $S_n$, ponieważ gwarantuje (tj. z prawdopodobieństwem 1) istnienie pewnej skończonej liczby takiej, że | S n - μ | < δ dla wszystkich n > n 0 (tzn. średnia nigdy nie zawodzi dla n > n 0 ). Pamiętaj, że słabe prawo nie daje takiej gwarancji.$n_0$$|S_n - \mu| < \delta$$n > n_0$$n > n_0$

Wiem, że na to pytanie już udzielono odpowiedzi (i całkiem dobrze, moim zdaniem), ale było tu inne pytanie , które miało komentarz @NRH, który wspomniał o objaśnieniu graficznym, i zamiast umieszczać tam zdjęcia , które wydają się bardziej odpowiednie umieść je tutaj.

A więc proszę. To nie jest tak fajne jak pakiet R. Ale jest samodzielny i nie wymaga subskrypcji JSTOR.

$X_{i}= \pm 1$

$$\frac{S_{n}}{n} = \frac{1}{n}\sum_{i = 1}^{n}X_{i},\quad n=1,2,\ldots.$$

SLLN (konwergencja prawie na pewno) mówi, że możemy być w 100% pewni, że ta krzywa rozciągająca się w prawo ostatecznie ostatecznie, w pewnym skończonym czasie, całkowicie spadnie w obrębie pasm na zawsze (w prawo).

Kod R użyty do wygenerowania tego wykresu znajduje się poniżej (pominięto etykiety wykresu ze względu na zwięzłość).

n <- 1000;  m <- 50; e <- 0.05
s <- cumsum(2*(rbinom(n, size=1, prob=0.5) - 0.5))
plot(s/seq.int(n), type = "l", ylim = c(-0.4, 0.4))
abline(h = c(-e,e), lty = 2)

---

$n$

Następuje kod R dla wykresu (ponownie pomijanie etykiet).

x <- matrix(2*(rbinom(n*m, size=1, prob=0.5) - 0.5), ncol = m)
y <- apply(x, 2, function(z) cumsum(z)/seq_along(z))
matplot(y, type = "l", ylim = c(-0.4,0.4))
abline(h = c(-e,e), lty = 2, lwd = 2)

Rozumiem to w następujący sposób,

Konwergencja prawdopodobieństwa

Prawdopodobieństwo, że sekwencja zmiennych losowych jest równa wartości docelowej, zmniejsza się asymptotycznie i zbliża się do 0, ale nigdy nie osiąga 0.

Prawie pewna konwergencja

Sekwencja zmiennych losowych będzie asymptotycznie równa wartości docelowej, ale nie można przewidzieć, kiedy to nastąpi.

$\equiv$

Wiki ma kilka przykładów zarówno co powinno przyczynić się do wyjaśnienia powyżej (w szczególności patrz przykład łucznika w kontekście konwergencji w prob i przykładem miłości w kontekście niemal pewien konwergencji).

Z praktycznego punktu widzenia wystarczająca jest zbieżność prawdopodobieństwa, ponieważ nie obchodzą nas szczególnie mało prawdopodobne zdarzenia. Na przykład spójność estymatora jest zasadniczo zbieżnością prawdopodobieństwa. Tak więc, stosując spójne oszacowanie, domyślnie uznajemy fakt, że w dużych próbach istnieje bardzo małe prawdopodobieństwo, że nasze oszacowanie jest dalekie od prawdziwej wartości. Żyjemy z tą „wadą” zbieżności prawdopodobieństwa, ponieważ wiemy, że asymptotycznie prawdopodobieństwo oszacowania dalekiego od prawdy jest znikomo małe.

Jeśli podoba Ci się objaśnienie wizualne, w American Statistician był ciekawy artykuł „Teacher's Corner” na ten temat. Jako bonus autorzy zawarli pakiet R, aby ułatwić naukę.

@article{lafaye09,
  title={Understanding Convergence Concepts: A Visual-Minded and Graphical Simulation-Based Approach},
  author={Lafaye de Micheaux, P. and Liquet, B.},
  journal={The American Statistician},
  volume={63},
  number={2},
  pages={173--178},
  year={2009},
  publisher={ASA}
}

Ten ostatni facet wyjaśnia to bardzo dobrze. Jeśli weźmiesz ciąg zmiennych losowych Xn = 1 z prawdopodobieństwem 1 / n, w przeciwnym razie zero. Łatwo zauważyć ograniczenie, które z prawdopodobieństwem zbliża się do zera, ale prawie wcale nie jest zbieżne. Jak powiedział, prawdopodobieństwo nie obchodzi, że możemy dostać jeden w dół drogi. Niemal na pewno tak.

Prawie na pewno oznacza zbieżność prawdopodobieństwa, ale nie na odwrót?

Jedną rzeczą, która pomogła mi zrozumieć różnicę, jest następująca równoważność

$P({\lim_{n\to\infty}|X_n-X|=0})=1 \Leftarrow \Rightarrow \lim_{n\to\infty}({\sup_{m>=n}|X_m-X|>\epsilon })=0$ $\forall \epsilon > 0$

W porównaniu konwergencja stochastyczna:

$\lim_{n\to\infty}P(|X_n-X|>\epsilon) = 0$ $\forall \epsilon >0$

Porównując prawą stronę górnej równoważności z konwergencją stochastyczną, różnica wydaje się wyraźniejsza.