Gdzie jest

36

Bardzo prosta wersja centralnego ograniczonego twierdzenia, jak poniżej

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, σ^{2})

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$ czyli Lindeberg – Lévy CLT. Nie rozumiem, dlaczegopo lewej stronieznajduje się. A Lyapunov CLT mówi ale dlaczego nie? Czy ktoś powiedziałby mi, jakie są te czynniki, takie jaki? jak uzyskać je w twierdzeniu?

\sqrt{n}

$\sqrt{n}$

\frac{1}{s_{n}} \sum_{i = 1}^{n} (X_{i} - μ_{i}) \overset{d}{\to} N (0, 1)

$\frac{1}{s_n} \sum_{i=1}^{n} (X_i - \mu_i) \ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

\sqrt{s_{n}}

$\sqrt{s_n}$

\sqrt{n}

$\sqrt{n}$

\frac{1}{s_{n}}

$\frac{1}{s_n}$

central-limit-theorem intuition

— Latająca świnia
źródło

3

Wyjaśniono to na stronie stats.stackexchange.com/questions/3734 . Ta odpowiedź jest długa, ponieważ wymaga „intuicji”. Stwierdza: „To proste przybliżenie, choć sugeruje, jak de Moivre może początkowo podejrzewali, że istnieje uniwersalny dystrybucja ograniczenie, że jej logarytm jest funkcją kwadratową, i że właściwą współczynnik skali

s_{n}

$s_n$ musi być proporcjonalna do

\sqrt{n}

$\sqrt{n}$ .... "

— whuber

1

Intuicyjnie, jeśli wszystkie

σ_{i} = σ

$\sigma_i=\sigma$ to

s_{n} = \sqrt{\sum σ_{i}^{2}} = \sqrt{n} σ

$s_n = \sqrt{\sum\sigma_i^2}=\sqrt{n}\sigma$ i 2. linia wynika z 1. linii:

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) = \frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - μ) \overset{d}{\to} N (0, σ^{2})

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg)-\mu\bigg)=\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)\xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$ podziel przez

σ = \frac{s_{n}}{\sqrt{n}}

$\sigma = \frac{s_n}{\sqrt{n}}$

\frac{\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - μ)}{\frac{s_{n}}{\sqrt{n}}} = \frac{1}{s_{n}} \sum_{i = 1}^{n} (X_{i} - μ_{i}) \overset{d}{\to} N (0, 1)

$\frac{\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)}{\frac{s_n}{\sqrt{n}}}=\frac{1}{s_n}\sum_{i=1}^{n}(X_i-\mu_i)\xrightarrow{d}\ \mathcal{N}(0,\;1)$ (oczywiście warunek Lyapunova, połączenie wszystkich $\sigma_i$ , to kolejne pytanie)

— Sextus Empiricus

33

Ładne pytanie (+1) !!

Zapamiętasz, że dla niezależnych zmiennych losowych i , i . Zatem wariancja wynosi $X$ $Y$ $Var(X+Y) = Var(X) + Var(Y)$ $Var(a\cdot X) = a^2 \cdot Var(X)$ $\sum_{i=1}^n X_i$ , a wariancja $\sum_{i=1}^n \sigma^2 = n\sigma^2$ jest. $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ $n\sigma^2 / n^2 = \sigma^2/n$

To jest dla wariancji . Aby ustandaryzować zmienną losową, należy podzielić ją przez odchylenie standardowe. Jak wiadomo, oczekiwana wartość wynosi , więc zmienna $\bar{X}$ $\mu$

ma oczekiwaną wartość 0 i wariancję 1. Więc jeśli dąży do Gaussa, musi to być standardowy Gaussian

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} \frac{\bar{X} - μ}{σ}

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma}$

. Twoje sformułowanie w pierwszym równaniu jest równoważne. Przez pomnożenie lewej strony przez

ustawiasz wariancję na

.

N (0, 1)

$\mathcal{N}(0,\;1)$

σ

$\sigma$

σ^{2}

$\sigma^2$

Jeśli chodzi o twój drugi punkt, uważam, że powyższe równanie ilustruje, że musisz podzielić przez a nie $\sigma$ celu standaryzacji równania, wyjaśniając, dlaczego używasz(estymatora nie $\sqrt{\sigma}$ $s_n$ $\sigma)$ . $\sqrt{s_n}$

Dodanie: @whuber sugeruje omówienie przyczyny skalowania przez . Robi totam, ale ponieważ odpowiedź jest bardzo długa, postaram się uchwycić esencję jego argumentacji (która jest rekonstrukcją myśli de Moivre'a). $\sqrt{n}$

Jeśli dodasz dużą liczbę + 1 i -1, możesz oszacować prawdopodobieństwo, że suma wyniesie poprzez elementarne zliczanie. Log tego prawdopodobieństwa jest proporcjonalny do . Jeśli więc chcemy, aby powyższe prawdopodobieństwo zbiegło się do stałej, gdy staje się duże, musimy zastosować współczynnik normalizujący w $n$ $j$ $-j^2/n$ $n$ . $O(\sqrt{n})$

Korzystając z nowoczesnych narzędzi matematycznych (post de Moivre), można zobaczyć wspomniane wyżej przybliżenie, zauważając, że oczekiwane prawdopodobieństwo wynosi

P (j) = \frac{(\binom{n}{n / 2 + j})}{2^{n}} = \frac{n!}{2^{n} (n / 2 + j)! (n / 2 - j)!}

$P(j) = \frac{{n \choose n/2+j}}{2^n} = \frac{n!}{2^n(n/2+j)!(n/2-j)!}$

które przybliżamy według wzoru Stirlinga

P (j) \approx \frac{n^{n} e^{n / 2 + j} e^{n / 2 - j}}{2^{n} e^{n} (n / 2 + j)^{n / 2 + j} (n / 2 - j)^{n / 2 - j}} = {(\frac{1}{1 + 2 j / n})}^{n + j} {(\frac{1}{1 - 2 j / n})}^{n - j} .

$P(j) \approx \frac{n^n e^{n/2+j} e^{n/2-j}}{2^n e^n (n/2+j)^{n/2+j} (n/2-j)^{n/2-j} } = \left(\frac{1}{1+2j/n}\right)^{n+j} \left(\frac{1}{1-2j/n}\right)^{n-j}.$

\log (P (j)) = - (n + j) \log (1 + 2 j / n) - (n - j) \log (1 - 2 j / n) \sim - 2 j (n + j) / n + 2 j (n - j) / n \propto - j^{2} / n .

$\log(P(j)) = -(n+j) \log(1+2j/n) - (n-j) \log(1-2j/n) \\ \sim -2j(n+j)/n + 2j(n-j)/n \propto -j^2/n.$

— gui11aume
źródło

Proszę zobaczyć moje komentarze do poprzednich odpowiedzi Michaela C. i faceta.

— whuber

Wygląda jak pierwsze równanie (LL CLT) s / b

? Zdezorientowało mnie to również, że

pojawiło się jako wariancja.

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, 1)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ^{2}

$\sigma^2$

— B_Miner

Jeśli sparametryzujesz Gaussa ze średnią i wariancją (nie odchylenie standardowe), to uważam, że formuła OP jest poprawna.

— gui11aume

1

Ahh .. Biorąc pod uwagę, że

jeśli pomnożymy

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} \frac{\bar{X} - μ}{σ} \overset{d}{\to} N (0, 1)

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma} \xrightarrow{d}\ \mathcal{N}(0,\;1)$

przez

otrzymujemy to, co pokazano przez OP (

anuluj): mianowicie

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}}

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }}$

σ

$\sigma$

σ

$\sigma$

. Ale wiemy, że VAR (aX) = a ^ 2Var (X) gdzie w tym przypadku a =

i Var (X) wynosi 1, więc rozkład wynosi

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)$

σ^{2}

$\sigma^2$

.

N (0, σ^{2})

$\mathcal{N}(0,\;\sigma^2)$

— B_Miner

Gui, jeśli nie za późno, chciałem się upewnić, że mam to prawidłowe. Jeśli przyjmiemy

i mnożymy przez stałą (

) oczekiwaną wartość tej wielkości (tj.

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} (\bar{X} - μ) \overset{d}{\to} N (0, 1)

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} ({\bar{X} - \mu}) \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ

$\sigma$

), który wynosił zero, wciąż jest zerowy, ponieważ E [aX] = a * E [X] =>

* 0 = 0. Czy to jest poprawne?

\sqrt{n} (\bar{X} - μ)

$\sqrt{n} ({\bar{X} - \mu})$

σ

$\sigma$

— B_Miner

8

Istnieje ładna teoria, jaki rodzaj rozkładów może ograniczać rozkłady sum zmiennych losowych. Miłym źródłem jest następująca książka Petrowa, którą osobiście bardzo mi się podobała.

Okazuje się, że jeśli badasz limity tego typu gdzie są niezależnymi zmiennymi losowymi, rozkłady limitów są tylko niektórymi rozkładami.

\frac{1}{a_{n}} \sum_{i = 1}^{n} X_{n} - b_{n}, (1)

$\frac{1}{a_n}\sum_{i=1}^nX_n-b_n, \quad (1)$

X_{i}

$X_i$

W tej chwili krąży dużo matematyki, która sprowadza się do kilku twierdzeń, które całkowicie charakteryzują to, co dzieje się na granicy. Jednym z takich twierdzeń jest Feller:

Twierdzenie Niech Jest sekwencją niezależnych zmiennych losowych jest funkcją rozkładu i jest sekwencją stałą dodatnią. Aby $\{X_n;n=1,2,...\}$ $V_n(x)$ $X_n$ $a_n$

max_{1 \leq k \leq n} P (| X_{k} | \geq ε a_{n}) \to 0, for every fixed ε > 0

$\max_{1\le k\le n}P(|X_k|\ge\varepsilon a_n)\to 0, \text{ for every fixed } \varepsilon>0$

i

sup_{x} | P (a_{n}^{- 1} \sum_{k = 1}^{n} X_{k} < x) - Φ (x) | \to 0

$\sup_x\left|P\left(a_n^{-1}\sum_{k=1}^nX_k<x\right)-\Phi(x)\right|\to 0$

jest to konieczne i wystarczające

\sum_{k = 1}^{n} \int_{| x | \geq ε a_{n}} d V_{k} (x) \to 0 for every fixed ε > 0,

$\sum_{k=1}^n\int_{|x|\ge \varepsilon a_n}dV_k(x)\to 0 \text{ for every fixed }\varepsilon>0,$

a_{n}^{- 2} \sum_{k = 1}^{n} (\int_{| x | < a_{n}} x^{2} d V_{k} (x) - {(\int_{| x | < a_{n}} x d V_{k} (x))}^{2}) \to 1

$a_n^{-2}\sum_{k=1}^n\left(\int_{|x|<a_n}x^2dV_k(x)-\left(\int_{|x|<a_n}xdV_k(x)\right)^2\right)\to 1$

i

a_{n}^{- 1} \sum_{k = 1}^{n} \int_{| x | < a_{n}} x d V_{k} (x) \to 0.

$a_n^{-1}\sum_{k=1}^n\int_{|x|<a_n}xdV_k(x)\to 0.$

To twierdzenie daje następnie wyobrażenie o tym, powinno wyglądać . $a_n$

Ogólna teoria w książce jest skonstruowana w taki sposób, że stała normalizacyjna jest w jakikolwiek sposób ograniczona, ale ostateczne twierdzenia, które dają niezbędne i wystarczające warunki, nie pozostawiają miejsca na stałą normalną inną niż . $\sqrt{n}$

— mpiktas
źródło

4

s oznacza odchylenie standardowe próbki dla średniej próbki. s jest wariancją próby dla średniej próbki i jest równa S / n. Gdzie S to oszacowanie próby wariancji populacji. Ponieważ s = S / thatn wyjaśnia, jak appearsn pojawia się w pierwszej formule. Zauważ, że w mianowniku byłby σ, gdyby limit był $_n$ $_n$ $^2$ $_n$ $^2$ $_n$ $^2$ $_n$ $_n$

N (0,1), ale granicę podano jako N (0, σ ). Ponieważ S jest spójnym oszacowaniem σ, jest używane w drugim równaniu do pobrania σ poza granicę. $^2$ $_n$

— Michael R. Chernick
źródło

Co o inne (bardziej podstawowych i ważnych) części pytania: dlaczego

, a nie jakaś inna miara dyspersji?

s_{n}

$s_n$

— whuber

@ whuber To może być przedmiotem dyskusji, ale nie było to częścią pytania. OP chciał po prostu wiedzieć, dlaczego s

i appearn występują we wzorze CLT. Oczywiście istnieje S

ponieważ jest spójne dla σ iw tej formie CLT σ jest usuwane.

_{n}

$_n$

_{n}

$_n$

— Michael R. Chernick,

1

Dla mnie wcale nie jest jasne, że

jest obecne, ponieważ jest „spójne dla

”. Dlaczego nie miałoby to oznaczać, powiedzmy, że

powinno być użyte do normalizacji statystyk o ekstremalnej wartości (co nie działałoby)? Czy brakuje mi czegoś prostego i oczywistego? I, aby powtórzyć OP, dlaczego nie użyć

s_{n}

$s_n$

σ

$\sigma$

s_{n}

$s_n$

przede wszystkim jest to spójne dla

\sqrt{s_{n}}

$\sqrt{s_n}$

!

\sqrt{σ}

$\sqrt{\sigma}$

— whuber

Jak twierdzono, twierdzenie ma zbieżność z N (0,1), więc aby osiągnąć, że albo musisz znać σ i użyć go, albo użyć spójnego oszacowania, które działa według twierdzenia Slutsky'ego. Czy to było niejasne?

— Michael R. Chernick,

Nie sądzę, żebyś był niejasny; Myślę tylko, że może brakować ważnej kwestii. Wszakże dla wielu rozkładów możemy uzyskać ograniczający rozkład normalny za pomocą IQR zamiast

ale wtedy wynik nie jest tak schludny (SD rozkładu ograniczającego zależy od rozkładu, od którego zaczynamy). Po prostu sugeruję, że zasługuje na to, aby zostać odwołanym i wyjaśnionym. Nie będzie to tak oczywiste dla kogoś, kto nie ma intuicji rozwiniętej przez 40 lat standaryzacji wszystkich napotkanych dystrybucji!

s_{n}

$s_n$

— whuber

2

Intuicyjnie, jeśli dla niektórych należy się spodziewać, że jest w przybliżeniu równy ; wydaje się to dość rozsądnym oczekiwaniem, choć nie sądzę, aby było to w ogóle konieczne. Powód $Z_n \to \mathcal N(0, \sigma^2)$ $\sigma^2$ $\mbox{Var}(Z_n)$ $\sigma^2$ w pierwszym wyrażeniu jest takie, że wariancjawynosijak $\sqrt n$ $\bar X_n - \mu$ $0$ i tak $\frac 1 n$ pompuje wariancję, tak że wyrażenie ma tylko wariancję równą. W drugim wyrażeniu terminjest zdefiniowany jako $\sqrt n$ $\sigma^2$ $s_n$ , natomiast wariancja licznika rośnie jak, więc znów mamy że wariancja całego wyrażenia jest stałą (, w tym przypadku). $\sqrt{\sum_{i = 1} ^ n \mbox{Var}(X_i)}$ $\sum_{i = 1} ^ n \mbox{Var}(X_i)$ $1$

Zasadniczo wiemy, że dzieje się coś „interesującego” z rozkładem , ale jeśli tego nie zrobimy poprawnie centrum i skalować go nie będzie w stanie go zobaczyć. Słyszałem, że to czasami wymaga dostosowania mikroskopu. Jeśli nie wysadzimy (np.)o $\bar X_n := \frac 1 n \sum_i X_i$ $\bar X - \mu$ wtedy mamy po prostuw rozkładzie według słabego prawa; interesujący wynik sam w sobie, ale nie tak pouczający jak CLT. Jeśli napompujemy przez jakikolwiek czynnikktóry jest zdominowany przez $\sqrt n$ $\bar X_n - \mu \to 0$ $a_n$ , mamy jeszcze dostać, gdy jakikolwiek czynnikktóry dominuje $\sqrt n$ $a_n(\bar X_n - \mu) \to 0$ $a_n$ daje. Okazuje się, że $\sqrt n$ $a_n(\bar X_n - \mu) \to \infty$ jest właściwym powiększeniem, aby móc zobaczyć, co się dzieje w tym przypadku (uwaga: cała zbieżność jest tutaj w rozkładzie; istnieje inny poziom powiększenia, który jest interesujący dla prawie pewnej zbieżności, co powoduje powstanie prawa iteracji logarytm). $\sqrt n$

— chłopak
źródło

4

Bardziej fundamentalnym pytaniem, na które należy najpierw odpowiedzieć, jest to, dlaczego SD służy do pomiaru dyspersji. Dlaczego nie absolutna centralny

moment dla innej wartości

? A może IQR lub którykolwiek z jego krewnych? Po udzieleniu odpowiedzi proste właściwości kowariancji natychmiast dają

k^{th}

$k^\text{th}$

k

$k$

zależność (jak niedawno wyjaśnił @ Gui11aume.)

\sqrt{n}

$\sqrt{n}$

— whuber

1

@ whuber Zgadzam się, dlatego przedstawiłem to jako heurystyczne. Nie jestem pewien, czy można to wyjaśnić prostym wyjaśnieniem, choć chętnie je usłyszę. Dla mnie nie jestem pewien, czy mam prostszą, możliwą do wyjaśnienia przyczynę, „że termin kwadratowy jest odpowiednim terminem w rozwinięciu funkcji charakterystycznej Taylora po odjęciu średniej”.

— facet