Intuicyjne wyjaśnienie dzielenia przez

W klasie zostałem dzisiaj zapytany, dlaczego dzielisz sumę błędu kwadratowego przez zamiast$n-1$$n$ przy obliczaniu odchylenia standardowego dzielisz .

Powiedziałem, że nie będę odpowiadać na to w klasie (ponieważ nie chciałem dokonywać obiektywnych szacunków), ale później zastanawiałem się - czy jest na to intuicyjne wyjaśnienie ?!

Odchylenie standardowe obliczone za pomocą dzielnika jest odchyleniem standardowym obliczonym z próby jako oszacowanie standardowego odchylenia populacji, z której pobrano próbkę. Ponieważ obserwowane wartości spadają średnio bliżej średniej próby niż średniej populacji, odchylenie standardowe, które jest obliczane na podstawie odchyleń od średniej próby, nie docenia pożądanego odchylenia standardowego populacji. Zastosowanie zamiast jako dzielnika poprawia to, zwiększając nieco wynik.n - 1 $n-1$$n-1$$n$

Należy pamiętać, że korekcja ma większy efekt proporcjonalny, gdy $n$ jest małe niż gdy jest duże, co jest tym, czego chcemy, ponieważ gdy n jest większe, średnia próbki prawdopodobnie będzie dobrym estymatorem średniej populacji.

Gdy próbka jest całą populacją, używamy odchylenia standardowego ze jako dzielnikiem, ponieważ średnia próby wynosi$n$ średnia populacji.

(Zauważam w nawiasach, że nic, co zaczyna się od „drugiej chwili wokół znanego, określonego środka” nie spełni prośby pytającego o intuicyjne wyjaśnienie).

Powszechną jest to, że definicja wariancji (rozkładu) jest drugim momentem ostatnio znanym wokół znanej, określonej średniej, podczas gdy estymator wykorzystuje oszacowaną średnią. Ta utrata stopnia swobody (biorąc pod uwagę średnią, można odtworzyć zestaw danych ze znajomością tylko wartości danych) wymaga użycia zamiast do „dostosowania” wyniku.n - 1 $n-1$$n-1$$n$

Takie wyjaśnienie jest zgodne z szacowanymi wariancjami analizy ANOVA i analizy składników wariancji. To naprawdę wyjątkowy przypadek.

Potrzeba, aby pewne korekty, które nadmuchuje wariancji może, moim zdaniem, być intuicyjnie oczywiste przy pomocy ważnego argumentu, który nie jest tylko ex post facto ręcznie macha. (Przypominam sobie, że Student mógł wysunąć taki argument w swoim teście z 1908 r. Na temat testu t). Dlaczego dostosowanie wariancji powinno być dokładnie współczynnikiem jest trudniejsze do uzasadnienia, szczególnie biorąc pod uwagę że skorygowana SD nie jest obiektywnym estymatorem. (Jest to jedynie pierwiastek kwadratowy z bezstronnego estymatora wariancji. Bycie bezstronnym zwykle nie przetrwa transformacji nieliniowej.) Tak więc, w rzeczywistości, prawidłowe dopasowanie SD w celu usunięcia jego odchylenia wcale nie jest czynnikiem !$n/(n-1)$$\sqrt{n/(n-1)}$

Niektóre podręczniki wprowadzające nawet nie zawracają sobie głowy wprowadzaniem skorygowanego SD: uczą jednej formuły (dzielą przez ). Po raz pierwszy zareagowałem negatywnie na to, kiedy uczyłem z takiej książki, ale doceniłem mądrość: aby skupić się na koncepcjach i zastosowaniach, autorzy usunęli wszystkie nieistotne matematyczne subtelności. Okazuje się, że nic nie jest zranione i nikt nie jest wprowadzany w błąd.$n$

Z definicji wariancję oblicza się, biorąc sumę kwadratów różnic od średniej i dzieląc przez rozmiar. Mamy ogólną formułę

gdzieμjest średnią, aNjest wielkością populacji.$\sigma^2= \frac{\sum_{i}^{N}(X_i-\mu)^2}{N}$$\mu$$N$

Zgodnie z tą definicją wariancję próbki (np. Próbki ) należy również obliczyć w ten sposób.$t$

gdzie ¯ X jest średnią, anjest rozmiarem tej małej próbki.$\sigma^2_t= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n}$$\overline{X}$$n$

Jednak przez wariancję próby rozumiemy estymator wariancji populacji σ 2 . Jak możemy oszacować σ 2 tylko przy użyciu wartości z próbki?$S^2$$\sigma^2$$\sigma^2$

Zgodnie z powyższymi wzorami zmienna losowa odbiega od średniej próbki ¯ X z wariancją σ 2 t . Średnia próbki ¯ X również odbiega od μ z wariancją σ $X$$\overline{X}$$\sigma^2_t$$\overline{X}$$\mu$ ponieważ średnia próbki otrzymuje różne wartości od próbki do próbki i jest to zmienna losowa o średniejμi wariancjiσ$\frac{\sigma^2}{n}$$\mu$ . (Można to łatwo udowodnić.)$\frac{\sigma^2}{n}$

Dlatego w przybliżeniu powinno odchylać się od μ z wariancją, która obejmuje dwie wariancje, więc zsumuj te dwie i otrzymaj σ 2 = σ 2 t + σ $X$$\mu$ . Rozwiązując to, otrzymujemyσ2=σ 2 t ×$\sigma^2=\sigma^2_t+\frac{\sigma^2}{n}$ . Zastąpienieσ 2 t daje nasz estymator wariancji populacji:$\sigma^2=\sigma^2_t \times\frac{n}{n-1}$$\sigma^2_t$

.$S^2= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n-1}$

Można również udowodnić, że jest prawdą.$E[S^2]=\sigma^2$

Jest to całkowita intuicja, ale najprostszą odpowiedzią jest korekta wprowadzona, aby standardowe odchylenie próbki jednoelementowej było niezdefiniowane, a nie 0.

Możesz uzyskać głębsze zrozumienie terminu dzięki samej geometrii, nie tylko dlaczego nie jest to n, ale dlaczego przybiera on dokładnie tę formę, ale być może będziesz musiał najpierw zbudować swoją intuicję, aby poradzić sobie z geometrią n- wymiarową. Stamtąd jednak jest to mały krok do głębszego zrozumienia stopni swobody w modelach liniowych (tj. Model df i resztkowy df). Myślę, że nie ma wątpliwości, że Fisher myślał w ten sposób. Oto książka, która stopniowo ją buduje:$n-1$$n$$n$

Saville DJ, Wood GR. Metody statystyczne: podejście geometryczne . 3. edycja Nowy Jork: Springer-Verlag; 1991. 560 stron. 9780387975177

(Tak, 560 stron. Powiedziałem stopniowo.)

Estymator wariancji populacji jest tendencyjny po zastosowaniu na próbce populacji. Aby skorygować to obciążenie, należy podzielić przez n-1 zamiast n. Można matematycznie wykazać, że estymator wariancji próbki jest bezstronny, gdy dzielimy przez n-1 zamiast n. Formalny dowód znajduje się tutaj:

https://economictheoryblog.com/2012/06/28/latexlatexs2/

Początkowo przypuszczam, że to matematyczna poprawność doprowadziła do wzoru. Jeśli jednak chcemy dodać do formuły intuicję, wspomniane już sugestie wydają się rozsądne.

Po pierwsze, obserwacje próbki są średnio bliższe średniej próby niż średniej populacji. Estymator wariancji wykorzystuje średnią próby i w konsekwencji nie docenia prawdziwej wariancji populacji. Dzielenie przez n-1 zamiast n poprawia to odchylenie.

Ponadto, dzielenie przez n-1 powoduje, że wariancja próbki z jednym elementem nie jest zdefiniowana, a nie zero.

Dlaczego dzielimy przez zamiast n ? Ponieważ jest to zwyczajowe i prowadzi do obiektywnego oszacowania wariancji. Powoduje to jednak tendencyjne (niskie) oszacowanie odchylenia standardowego, co można zaobserwować, stosując nierówność Jensena do funkcji wklęsłej, pierwiastka kwadratowego.$n-1$$n$

Co jest takiego wspaniałego w posiadaniu obiektywnego estymatora? Niekoniecznie minimalizuje średni błąd kwadratowy. MLE dla rozkładu normalnego dzieli się przez zamiast n - 1 . Naucz swoich uczniów myślenia, zamiast regurgitacji i bezmyślnego stosowania przestarzałych pojęć sprzed stu lat.$n$$n-1$

Jest dobrze znane (lub łatwo udowodnione), że kwadratowe ma ekstremum przy z = - $\alpha z^2 + 2\beta z + \gamma$ . To pokazuje, że dla dowolnejliczbynliczb rzeczywistychx1,x2,…,xn, ilość G(a)= n ∑ i=1(xi-a)2=( n ∑ i = 1 x 2 i )-2a( n ∑ i = 1 xi)+$z = -\frac{\beta}{\alpha}$$n$$x_1, x_2, \ldots, x_n$ ma wartość minimalną, gdy a =

$$G(a) = \sum_{i=1}^n (x_i-a)^2 = \left(\sum_{i=1}^n x_i^2\right) -2a\left(\sum_{i=1}^n x_i\right) + na^2,$$ .$\displaystyle a = \frac 1n \sum_{i=1}^n x_i =\bar{x}$

Teraz załóżmy, że są próbka rozmiar n z rozkładu o nieznanej średniej ľ i nieznanej wariancji Ď 2 . Możemy oszacować μ jako $x_i$$n$$\mu$$\sigma^2$$\mu$ co jest dość łatwe do obliczenia, ale próba oszacowaniaσ2 jako$\frac 1n \sum_{i=1}^n x_i = \bar{x}$$\sigma^2$napotyka problem, którego nie znamyμ. Możemy oczywiście łatwo obliczyć G( ˉ x )i wiemy, żeG(μ)≥G( ˉ x ), ale o ile większy jestG(μ)? Odpowiedź jest taka, że G(μ$\frac 1n \sum_{i=1}^n (x_i-\mu)^2 = n^{-1}G(\mu)$$\mu$$G(\bar{x})$$G(\mu) \geq G(\bar{x})$$G(\mu)$$G(\mu)$jest większy niż o współczynnik około $G(\bar{x})$ , to znaczy G ( μ ) ≈ $\frac{n}{n-1}$a więcoszacowanien-1G(μ)=

$$G(\mu) \approx \frac{n}{n-1}G(\bar{x})\tag{1}$$ dla wariancji rozkładu można aproksymować o $\displaystyle n^{-1}G(\mu)= \frac 1n\sum_{i=1}^n(x_i-\mu)^2$$\displaystyle \frac{1}{n-1}G(\bar{x}) = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar{x})^2.$

$(1)$

$$\begin{align} G(\mu) &= \sum_{i=1}^n (x_i-\mu)^2\\ &= \sum_{i=1}^n (x_i-\bar{x} + \bar{x}-\mu)^2\\ &= \sum_{i=1}^n \left((x_i-\bar{x})^2 + (\bar{x}-\mu)^2 + 2(x_i-\bar{x})(\bar{x}-\mu)\right)\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 + (\bar{x}-\mu)\sum_{i=1}^n(x_i-\bar{x})\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 \tag{2} \end{align}$$ $\sum_{i=1}^n (x_i-\bar{x}) = n\bar{x}-n\bar{x} = 0$ $$\begin{align} n(\bar{x}-\mu)^2 &= n\frac{1}{n^2}\left(\sum_{i=1}^n(x_i-\mu)\right)^2\\ &= \frac 1n \sum_{i=1}^n(x_i-\mu)^2 + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\\ &= \frac 1n G(\mu) + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\tag{3} \end{align}$$ $x_i$$\mu$$\mu$$(x_i-\mu)(x_j-\mu)$$(3)$$\frac 1nG(\mu)$$(3)$$(2)$ $$G(\mu) \approx G(\bar{x}) + \frac 1nG(\mu) \Longrightarrow G(\mu) \approx \frac{n}{n-1}G(\bar{x})$$ $(1)$

$(x_i-x_j)^2/2$

$$s^2 = \frac{2}{n(n-1)}\sum_{i< j}\frac{(x_i-x_j)^2}{2} = \frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2 .$$

$X$$Y$

$$V(X) = E\left(\frac{(X-Y)^2}{2}\right) = E((X-E(X))^2) .$$

Przejście od definicji losowej zmiennej wariancji do definicji wariancji próbki jest kwestią oszacowania oczekiwanego środka, który można uzasadnić filozoficzną zasadą typowości: próbka jest typowym przedstawieniem rozkładu. (Uwaga: jest to związane, ale nie to samo, co oszacowanie chwilowe).

$N=1$$x$$\overline{m}=x$$1$

$$V=\frac{\sum_N (x_n - \overline{m} )^2}{N}$$

$$\overline{V}=\frac{(x-\overline{m})^2}{1} = 0\,.$$

$y$$x\neq y$$N-1=0$

$0$$d+1$$d$$d+1$

Za sugestią Whucera odpowiedź została skopiowana z innego podobnego pytania .

Korekcję Bessela przyjmuje się w celu skorygowania błędu systematycznego przy użyciu wariancji próbki jako estymatora prawdziwej wariancji. Odchylenie w nieskorygowanej statystyce występuje, ponieważ średnia próbki jest bliżej środka obserwacji niż średnia prawdziwa, a zatem kwadratowe odchylenia wokół średniej próbki systematycznie nie doceniają kwadratowych odchyleń wokół prawdziwej średniej.

$S_*^2$$n$

$$\begin{equation} \begin{aligned} S_*^2 &= \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (X_i^2 - 2 \bar{X} X_i + \bar{X}^2) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 \bar{X} \sum_{i=1}^n X_i + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 n \bar{X}^2 + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2. \end{aligned} \end{equation}$$

Biorąc oczekiwania daje:

$$\begin{equation} \begin{aligned} \mathbb{E}(S_*^2) &= \frac{1}{n} \sum_{i=1}^n \mathbb{E}(X_i^2) - \mathbb{E} (\bar{X}^2) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= \sigma^2 - \frac{\sigma^2}{n} \\[8pt] &= \frac{n-1}{n} \cdot \sigma^2 \\[8pt] \end{aligned} \end{equation}$$

$\sigma^2$$n-1$

Zasadniczo użycie „n” w mianowniku daje mniejsze wartości niż wariancja populacji, którą chcemy oszacować. Dzieje się tak zwłaszcza, gdy pobierane są małe próbki. W języku statystyki mówimy, że wariancja próby zapewnia „tendencyjne” oszacowanie wariancji populacji i należy ją uczynić „bezstronną”.

Jeśli szukasz intuicyjnego wyjaśnienia, powinieneś pozwolić swoim uczniom zobaczyć powód dla siebie, pobierając próbki! Obejrzyj to, dokładnie odpowiada na twoje pytanie.

https://www.youtube.com/watch?v=xslIhnquFoE

$\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$$S^2 = \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2$$n - 1$

Aby odpowiedzieć na to pytanie, musimy wrócić do definicji obiektywnego estymatora. Bezstronny estymator to taki, którego oczekiwanie zmierza do prawdziwego oczekiwania. Średnia próbki jest obiektywnym estymatorem. Aby zobaczyć dlaczego:

$$E[\bar{X}] = \frac{1}{n}\sum_{i=1}^{n} E[X_i] = \frac{n}{n} \mu = \mu$$

Spójrzmy na oczekiwanie wariancji próbki,

$$S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i^2) - n\bar{X}^2$$

$$E[S^2] = \frac{1}{n-1} \left( n E[(X_i^2)] - nE[\bar{X}^2] \right).$$

$\bar{X}$$E[\bar{X}^2]$$n-1$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + Var(\bar{X})) \right).$$ $$Var(\bar{X}) = Var(\frac{1}{n}\sum_{i=1}^{n} X_i) = \sum_{i=1}^{n} \frac{1}{n^2} Var(X_i) = \frac{\sigma^2}{n}$$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + \sigma^2/n) \right). = \frac{(n-1)\sigma^2}{n-1} = \sigma^2 \\ $$

$n$$n-1$$n-1$$S^2$

$\mu$$\sigma^2$$n$$\mu$

$$\sigma^2 \left(\frac{n+1}{n-1}\right),$$

$2n$

Uogólniony rozkład T Studenta ma trzy parametry i wykorzystuje wszystkie trzy statystyki. Jeśli zdecydujesz się wyrzucić niektóre informacje, możesz dodatkowo przybliżyć swoje dane, stosując dwuparametrowy rozkład normalny, jak opisano w pytaniu.

Z bayesowskiego punktu widzenia można sobie wyobrazić, że niepewność w hiperparametrach modelu (rozkłady względem średniej i wariancji) powodują, że wariancja predykcji tylnej jest większa niż wariancja populacyjna.

Mój Boże, komplikuje się! Myślałem, że prosta odpowiedź brzmi ... jeśli masz wszystkie punkty danych, których możesz użyć „n”, ale jeśli masz „próbkę”, to zakładając, że jest to próbka losowa, masz więcej punktów próbnych z odchylenia standardowego niż z zewnątrz (definicja odchylenia standardowego). Po prostu nie masz wystarczającej ilości danych na zewnątrz, aby uzyskać losowo wszystkie potrzebne dane. N-1 pomaga rozwinąć się w kierunku „prawdziwego” odchylenia standardowego.