Czy istnieją przykłady, w których nie obowiązuje twierdzenie o limicie centralnym?

Wikipedia mówi -

W teorii prawdopodobieństwa centralne twierdzenie graniczne (CLT) ustala, że w większości sytuacji , gdy dodaje się niezależne zmienne losowe, ich odpowiednio znormalizowana suma zmierza w kierunku rozkładu normalnego (nieformalnie „krzywej dzwonowej”), nawet jeśli same zmienne pierwotne nie są normalnie dystrybuowane ...

Kiedy mówi „w większości sytuacji”, w jakich sytuacjach nie działa centralne twierdzenie graniczne?

Aby to zrozumieć, musisz najpierw podać wersję Central Limit Theorem. Oto „typowe” stwierdzenie centralnego twierdzenia o granicy:

Lindeberg – Lévy CLT. Załóżmy, że ${X_1, X_2, \dots}$ jest sekwencją losowych zmiennych iid z i . Niech . Następnie, gdy zbliża się do nieskończoności, zmienne losowe zbiegają się w rozkładzie do normalnego tj.V a r [ X i ] = σ 2 < ∞ S n : = X 1 + ⋯ + X $E[X_i] = \mu$$Var[X_i] = \sigma^2 < \infty$ n$S_{n}:={\frac {X_{1}+\cdots +X_{n}}{n}}$$n$N(0,σ2$\sqrt{n}(S_n − \mu)$$N(0,\sigma^2)$

$${\displaystyle {\sqrt {n}}\left(\left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)-\mu \right)\ {\xrightarrow {d}}\ N\left(0,\sigma ^{2}\right).}$$

Czym zatem różni się to od nieformalnego opisu i jakie są luki? Istnieje kilka różnic między twoim nieformalnym opisem a tym opisem, z których niektóre zostały omówione w innych odpowiedziach, ale nie do końca. Możemy więc przekształcić to w trzy konkretne pytania:

• Co się stanie, jeśli zmienne nie zostaną identycznie rozmieszczone?
• Co jeśli zmienne mają nieskończoną wariancję lub nieskończoną średnią?
• Jak ważna jest niezależność?

Biorąc je pojedynczo,

Nie identycznie rozmieszczone , najlepsze wyniki ogólne to wersje centralnego twierdzenia o granicy Lindeberga i Lyaponova. Zasadniczo, o ile standardowe odchylenia nie rosną zbyt dziko, można z tego uzyskać przyzwoite centralne twierdzenie o limicie.

Lyapunov CLT. [5] Załóżmy, że jest sekwencją niezależnych zmiennych losowych, każda o skończonej oczekiwanej wartości i wariancji Zdefiniuj:μ i σ 2 s 2 n = ∑ n i = ${X_1, X_2, \dots}$$\mu_i$$\sigma^2$$s_{n}^{2}=\sum _{i=1}^{n}\sigma _{i}^{2}$

Jeśli dla niektórych , warunek Lapunowa jest spełnione, a następnie suma zbiega się w rozkładzie do standardowej normalnej zmiennej losowej, gdy n idzie w nieskończoność:lim n → ∞ $\delta > 0$Xi-μi/s${\displaystyle \lim _{n\to \infty }{\frac {1}{s_{n}^{2+\delta }}}\sum_{i=1}^{n}\operatorname {E} \left[|X_{i}-\mu _{i}|^{2+\delta }\right]=0}$$X_i − \mu_i / s_n$

${{\frac {1}{s_{n}}}\sum _{i=1}^{n}\left(X_{i}-\mu_{i}\right)\ {\xrightarrow {d}}\ N(0,1).}$

Twierdzenia o nieskończonej wariancji podobne do twierdzenia o granicy centralnej istnieją dla zmiennych o nieskończonej wariancji, ale warunki są znacznie węższe niż w przypadku zwykłego twierdzenia o granicy centralnej. Zasadniczo ogon rozkładu prawdopodobieństwa musi być asymptotyczny do dla . W takim przypadku odpowiednie skalowane sumy są zbieżne do stabilnego rozkładu Levy-Alpha . 0 < α < $|x|^{-\alpha-1}$$0 < \alpha < 2$

Znaczenie niezależności Istnieje wiele różnych centralnych twierdzeń granicznych dla nie-niezależnych sekwencji . Wszystkie są wysoce kontekstualne. Jak zauważa Batman, jest jedna dla Martingales. To pytanie jest ciągłym obszarem badań, z wieloma, wieloma różnymi odmianami w zależności od konkretnego kontekstu zainteresowania. To pytanie dotyczące wymiany matematyki jest kolejnym postem związanym z tym pytaniem.$X_i$

Chociaż jestem prawie pewien, że już na nie udzielono odpowiedzi, oto kolejny:

Istnieje kilka wersji centralnego twierdzenia granicznego, z których najbardziej ogólnym jest to, że przy dowolnych funkcjach gęstości prawdopodobieństwa suma zmiennych będzie rozkładana normalnie ze średnią wartością równą sumie średnich wartości, a wariancja jest sumą poszczególnych wariancji.

Bardzo ważnym i istotnym ograniczeniem jest to, że średnia i wariancja danych plików pdf muszą istnieć i muszą być skończone.

Tak więc, po prostu weź dowolny plik pdf bez średniej wartości lub wariancji - a centralne twierdzenie o limicie nie będzie już dłużej obowiązywać. Weźmy na przykład rozkład Lorentza.

Nie, CLT zawsze obowiązuje, gdy zachodzą jego założenia. Kwalifikacje, takie jak „w większości sytuacji”, są nieformalnymi odniesieniami do warunków, na jakich należy stosować CLT.

Na przykład liniowa kombinacja zmiennych niezależnych z rozkładu Cauchy'ego nie sumuje się do zmiennej rozproszonej normalnej . Jednym z powodów jest to, że wariancja jest niezdefiniowana dla rozkładu Cauchy'ego , podczas gdy CLT stawia pewne warunki dla wariancji, np. Że musi być skończona. Ciekawą implikacją jest to, że ponieważ symulacje Monte Carlo są motywowane przez CLT, należy zachować ostrożność podczas symulacji Monte Carlo, mając do czynienia z rozkładami tłuszczowymi, takimi jak Cauchy.

Uwaga: istnieje uogólniona wersja CLT. Działa dla nieskończonych lub nieokreślonych wariancji, takich jak rozkład Cauchy'ego. W przeciwieństwie do wielu dobrze zachowujących się rozkładów, odpowiednio znormalizowaną sumą liczb Cauchy'ego pozostaje Cauchy. Nie jest zbieżny do Gaussa.

Nawiasem mówiąc, nie tylko Gaussa, ale wiele innych dystrybucji ma pliki PDF w kształcie dzwonu, np. Student t. Dlatego cytowany przez ciebie opis jest dość liberalny i nieprecyzyjny, być może celowy.

Oto ilustracja odpowiedzi aniołka, histogram 1e5 rysuje ze skalowanej (przez ) próbka średnich rozkładów t o dwóch stopniach swobody, tak żewariancja nie istnieje.$\sqrt{n}$

Jeśli zastosował się CLT, histogram dla tak dużej jak n = 1000 powinien przypominać gęstość standardowego rozkładu normalnego (który np. Ma gęstość 1 / $n$$n=1000$u szczytu), co najwyraźniej nie.$1/\sqrt{2\pi}\approx0.4$

library(MASS)
n <- 1000
samples.from.t <- replicate(1e5, sqrt(n)*mean(rt(n, df = 2)))
truehist(samples.from.t, xlim = c(-10,10), col="salmon")

Prostym przypadkiem, w którym CLT nie jest w stanie utrzymać się z bardzo praktycznych powodów, jest sytuacja, gdy sekwencja zmiennych losowych zbliża się do granicy prawdopodobieństwa ściśle z jednej strony . Jest to spotykane na przykład w estymatorach, które szacują coś, co leży na granicy.

$\theta$$U(0,\theta)$$\theta$$\theta$$\theta$

Prawidłowo skalowany estymator ma rozkład ograniczający - ale nie „odmiany CLT”.

Tutaj znajdziesz szybkie rozwiązanie .

Powstają wyjątki od twierdzenia o granicy centralnej

1. Gdy istnieje wiele maksimów tej samej wysokości, i
2. Gdzie druga pochodna znika maksymalnie.

Istnieją pewne inne wyjątki przedstawione w odpowiedzi na @cherub.

To samo pytanie zostało już zadane na math.stackexchange . Tam możesz sprawdzić odpowiedzi.