Centralne twierdzenie graniczne a prawo wielkich liczb

14

Twierdzenie o granicy centralnej stwierdza, że średnia zmiennych iid, gdy przechodzi w nieskończoność, staje się normalnie rozkładem. $N$

Rodzi to dwa pytania:

Czy możemy z tego wywnioskować prawo wielkich liczb? Jeśli prawo wielkich liczb mówi, że średnia próbki wartości zmiennej losowej jest równa prawdziwej średniej gdy przechodzi w nieskończoność, wydaje się jeszcze silniejsze stwierdzenie, że (jak mówi środkowa granica) wartość staje się gdzie jest odchyleniem standardowym. Czy można zatem powiedzieć, że centralny limit implikuje prawo wielkich liczb? $\mu$ $N$ $\mathcal N(\mu, \sigma)$ $\sigma$
Czy centralne twierdzenie o granicy dotyczy liniowej kombinacji zmiennych?

probability central-limit-theorem law-of-large-numbers

— użytkownik9097
źródło

5

Twoje twierdzenie, że „centralne twierdzenie graniczne stwierdza, że średnia zmiennych iid, gdy przechodzi w nieskończoność, staje się normalnie rozkładem” jest błędne. Zobacz moją odpowiedź na to ostatnie pytanie, które rodzi podobne problemy. Kolejna odpowiedź na to pytanie została opublikowana, ale wkrótce potem usunięta, a dyskusja po tej odpowiedzi, teraz już nieobecna, również omawiała te kwestie.

N

$N$

— Dilip Sarwate,

1

Dlaczego średnia próbki zbiegająca się ze średnią populacji jest słabszym wynikiem niż średnia próbki zbiegająca się z próbką z rozkładu ?

μ

$\mu$

N (μ, σ)

$\mathcal N(\mu, \sigma)$

— Dilip Sarwate

@DilipSarwate Dzięki za flagę, ale Twój komentarz jest na IMO wystarczająco ujawnić nieporozumienia w pytaniu i pojawiły się rozsądne odpowiedzi.

10

OP mówi

Twierdzenie o granicy centralnej stwierdza, że średnia zmiennych iid, gdy N przechodzi w nieskończoność, staje się normalnie rozkładem.

Przyjmuję to, że OP jest przekonany, że dla iid zmiennych losowych ze średnią i odchyleniem standardowym , skumulowana funkcja rozkładu z zbieżna z funkcją skumulowanego rozkładu , normalnej zmiennej losowej ze średnią i odchyleniem standardowym . Lub OP uważa, że drobne zmiany aranżacji tej formuły, np. Rozkład zbieżny z rozkładem lub rozkładem $X_i$ $\mu$ $\sigma$ $F_{Z_n}(a)$

Z_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}

$Z_n = \frac{1}{n} \sum_{i=1}^n X_i$

N (μ, σ)

$\mathcal N(\mu,\sigma)$

μ

$\mu$

σ

$\sigma$

Z_{n} - μ

$Z_n - \mu$

N (0, σ)

$\mathcal N(0,\sigma)$

(Z_{n} - μ) / σ

$(Z_n - \mu)/\sigma$ zbiega się z rozkładem , standardowej normalnej zmiennej losowej. Zauważ, że jako przykład te stwierdzenia sugerują, że jako .

N (0, 1)

$\mathcal N(0,1)$

P {| Z_{n} - μ | > σ} = 1 - F_{Z_{n}} (μ + σ) + F_{Z_{n}} ((μ + σ)^{-}) \to 1 - Φ (1) + Φ (- 1) \approx 0.32

$P\{|Z_n - \mu| > \sigma\} = 1 - F_{Z_n}(\mu + \sigma) + F_{Z_n}((\mu + \sigma)^-) \to 1-\Phi(1)+\Phi(-1) \approx 0.32$

n \to \infty

$n \to \infty$

OP mówi dalej

Rodzi to dwa pytania:

Czy możemy z tego wywnioskować prawo wielkich liczb? Jeśli prawo dużych liczb mówi, że średnia próbki wartości zmiennej losowej jest równa prawdziwej średniej μ, gdy N idzie w nieskończoność, to jeszcze silniejsze wydaje się stwierdzenie (jak mówi środkowa granica), że wartość staje się N ( μ, σ) gdzie σ jest odchyleniem standardowym.

Słaba zasada dużych liczb mówi, że dla iid zmiennych losowych ze skończoną średnią , biorąc pod uwagę dowolne , Należy pamiętać, że nie trzeba zakładać, że odchylenie standardowe jest skończone. $X_i$ $\mu$ $\epsilon > 0$

P {| Z_{n} - μ | > ϵ} \to 0 as n \to \infty .

$P\{|Z_n - \mu| > \epsilon\} \to 0 ~~ \text{as}~ n \to \infty.$

Aby odpowiedzieć na pytanie PO,

Twierdzenie o centralnym limicie, określone przez PO , nie implikuje słabego prawa wielkich liczb. Jako , wersja centralnego twierdzenia granicznego OP mówi, że podczas gdy słabe prawo mówi, że $n \to \infty$ $P\{|Z_n-\mu| > \sigma\} \to 0.317\cdots$ $P\{|Z_n-\mu| > \sigma\} \to 0$
Z poprawnego stwierdzenia centralnego twierdzenia o granicy można w najlepszym razie wywnioskować tylko ograniczoną formę słabego prawa wielkich liczb, mającego zastosowanie do zmiennych losowych o średniej skończonej i odchyleniu standardowym. Ale słabe prawo dużych liczb obowiązuje również dla zmiennych losowych, takich jak zmienne losowe Pareto ze skończonymi średnimi, ale nieskończonymi odchyleniami standardowymi.
Nie rozumiem, dlaczego stwierdzenie, że średnia próbki jest zbieżna do normalnej zmiennej losowej z niezerowym odchyleniem standardowym, jest silniejszym stwierdzeniem niż stwierdzenie, że średnia próbki jest zbieżna ze średnią populacji, która jest stałą (lub zmienną losową o zerowym odchyleniu standardowym, jeśli lubisz).

— Dilip Sarwate
źródło

Zastanawiam się, co osoba, która przegłosowała moją odpowiedź, uznała to za niewłaściwe lub niepoprawne w tym, co powiedziałem.

— Dilip Sarwate,

7

W przypadku prawa dużych liczb należy zdefiniować wszystkie zmienne w tej samej przestrzeni prawdopodobieństwa (ponieważ prawo dużych liczb jest stwierdzeniem prawdopodobieństwa zdarzenia określonego przez , dla wszystkich jednocześnie). Aby uzyskać zbieżność w rozkładzie, możesz mieć różne przestrzenie prawdopodobieństwa, co upraszcza wiele aspektów proofów (np. Zwiększenie zagnieżdżonych przestrzeni, bardzo powszechne dla różnych proofów z układem trójkątnym). Ale oznacza to również, że nie możesz powiedzieć żadnych oświadczeń dotyczących wspólnych rozkładów i . Zatem nie, zbieżność w rozkładzie nie implikuje prawa wielkich liczb, chyba że masz wspólną przestrzeń prawdopodobieństwa dla wszystkich zmiennych. $\bar X_n$ $n$ $\bar X_n$ $\bar X_{n+1}$

— StasK
źródło

(+1) To, co mówisz, jest prawdą i bardzo ważną kwestią. Trójkątna tablica pozwala zmiennym w każdym „rzędzie” żyć w innych przestrzeniach prawdopodobieństwa niż w poprzednich rzędach. Z drugiej strony, jeśli mówimy a priori, że rozważamy sekwencję zmiennych losowych iid, wówczas domyślnie muszą one istnieć na wspólnej, podstawowej przestrzeni, aby pojęcie niezależności miało sens.

— kardynał

@ cardinal: więc jeśli dobrze rozumiem, w „prostym” przypadku, w którym wszystkie są zdefiniowane w tej samej przestrzeni, to czy centralność implikuje prawo wielkich liczb? albo nie?

— user9097,

@ user9097 Skoro wchodzimy teraz w sferę drobnych szczegółów, o jakie prawo wielkich liczb pytamy ? Słabe prawo czy silne prawo?

— Dilip Sarwate

Ta prawda dotyczy tylko silnego prawa wielkich liczb , a nie słabego prawa

— kjetil b halvorsen

4

Po pierwsze, chociaż istnieje wiele definicji, jedna ze standardowych form centralnego twierdzenia o granicy mówi, że zbieżny w rozkładzie do gdzie jest średnią próbkę IID kopie około zmiennej losowej . $\sqrt{n}(\bar{X}_n-EX)$ $\mathcal N(0, Var(X))$ $\bar{X}$ $n$ $X$

Po drugie, załóżmy, że mamy dwa niezależne zmienne losowe i . Następnie lub $X$ $Y$

\sqrt{n} (\frac{1}{n} \sum_{j = 1}^{n} (a X_{j} + Y_{j}) - E (a X + Y)) \to N (0, V a r (a X + Y))

$\sqrt{n}(\frac{1}{n}\sum_{j=1}^n(aX_j+Y_j) - E(aX+Y)) \to \mathcal N(0, Var(aX+Y))$

\sqrt{n} a ({\bar{X}}_{n} - E X) + \sqrt{n} ({\bar{Y}}_{n} - E Y) \to N (0, a^{2} V a r (X) + V a r (Y)) .

$\sqrt{n}a(\bar{X}_n- EX)+\sqrt{n}(\bar{Y}_n -EY) \to \mathcal N(0, a^2Var(X)+Var(Y)).$

Innymi słowy, liniowa kombinacja zmiennych losowych nie będzie zbieżna z liniową kombinacją normalnych pod CLT, tylko jedną normalną. Ma to sens, ponieważ liniowa kombinacja zmiennych losowych jest po prostu inną zmienną losową, do której można bezpośrednio zastosować CLT.

— Daniel Johnson
źródło

1

To dobry początek odpowiedzi. Oto kilka komentarzy: Liniowa kombinacja (wspólnych) normalnych jest normalna, więc nie jestem pewien, co miał oznaczać twój komentarz w tym względzie. W każdym razie podejrzewam, że OP nie myślał o liniowych kombinacjach rozważanej formy. Zauważając, że gdzie dla każdego , naturalnym pytaniem, które można zadać, jest to, co dzieje się, gdy zastępujemy te „jednolite” ciężarki niektórymi (bardziej arbitralnymi). Kiedy nadal otrzymujemy CLT? Można użyć CLT Lindeberga, aby uzyskać odpowiedź na to pytanie.

{\bar{X}}_{n} = \sum_{i = 1}^{n} w_{n i} X_{i}

$\bar X_n = \sum_{i=1}^n w_{ni} X_i$

w_{n i} = 1 / n

$w_{ni} = 1/n$

i = 1, \dots, n

$i = 1,\ldots,n$

— kardynał

Myślę, że przy ścisłych warunkach mój wynik nadal powie coś o . Najpierw zdefiniujmy te warunki, a następnie zastanówmy się, jak je osłabić. Weźmy i jako pojedynczą, nieskończoną sekwencję nieujemnych reali. Jeśli liczba różnych jest skończona i każdy pojawia się nieskończenie często w sekwencji, mój wynik powinien się utrzymać, ponieważ każdy definiuje zmienną losową, co pasuje do ramy „kombinacji liniowej”, którą podałem powyżej. Następnie dobre pytanie byłoby, gdybyśmy mogli pozwolić liczba różnych skali z .

\sum_{j = 1}^{n} w_{n j} X_{j}

$\sum^n_{j=1}w_{nj}X_j$

w_{n j} = w_{j} / n

$w_{nj} = w_{j}/n$

w_{j}

$w_j$

w_{j}

$w_{j}$

w_{j} X

$w_jX$

w

$w$

n

$n$

— Daniel Johnson

1

To dobry komentarz i fajny pomysł, jednak uważam, że do modyfikacji potrzebowałby pewnych modyfikacji. Załóżmy wlog, że . Skonstruuj swój w następujący sposób. Niech , . Teraz zdefiniuj indukcyjnie w następujący sposób: Ustaw aż . Następnie dołączaj te, aż . Dodaj ponownie zera, a potem jedynki. Powtórz ad infinitum. Teraz i występują nieskończenie wiele razy, ale wariancja przeskalowanej średniej oscyluje między a

E X = 0

$\mathbb E X = 0$

w_{j}

$w_j$

w_{1} = 1

$w_1 = 1$

w_{2} = 0

$w_2 = 0$

w_{j}

$w_j$

w_{j} = 0

$w_j = 0$

\sum_{i = 1}^{j} w_{i} / j \leq 1 / 4

$\sum_{i=1}^j w_i /j \leq 1/4$

\sum_{i = 1}^{j} w_{i} / j \geq 1 / 2

$\sum_{i=1}^j w_i /j \geq 1/2$

0

$0$

1

$1$

1 / 2

$1/2$

1 / 4

$1/4$ (w przybliżeniu). Zatem podana sekwencja nie może zbiegać się w dystrybucji.

— kardynał

(Uwaga: tutaj nie ma nic specjalnego w wyborze i Ponadto, ściśle mówiąc, procedura opisana w komentarzu tak naprawdę nie mieści się w ramach kombinacji liniowej twojej odpowiedzi.)

0

$0$

1

$1$

— kardynał