Dlaczego odchylenie standardowe jest definiowane jako sqrt wariancji, a nie jako sqrt sumy kwadratów nad N?

Dzisiaj uczyłem wstępnej klasy statystyki, a uczeń podszedł do mnie z pytaniem, które sformułowałem tutaj: „Dlaczego odchylenie standardowe jest zdefiniowane jako sqrt wariancji, a nie jako sqrt sumy kwadratów nad N?”

Definiujemy wariancję populacji:$\sigma^2=\frac{1}{N}\sum{(x_i-\mu)^2}$

I standardowe odchylenie: .$\sigma=\sqrt{\sigma^2}=\frac{1}{\sqrt{N}}\sqrt{\sum{(x_i-\mu)^2}}$

Interpretacja możemy dać jest to, że daje średnie odchylenie jednostek w populacji od średniej populacji .$\sigma$$X$

Jednak w definicji sd dzielimy sqrt sumy kwadratów przez . Pytanie student podnosi to dlaczego nie podzielić sqrt na sume kwadratów przez zamiast. W ten sposób dochodzimy do konkurencyjnej formuły:Uczeń argumentował, że ta formuła wygląda bardziej jak „średnie” odchylenie od średniej niż podczas dzielenia przez jak w .$\sqrt{N}$$N$

$$\sigma_{new}=\frac{1}{N}\sqrt{\sum{(x_i-\mu)^2}}.$$ $\sqrt{N}$$\sigma$

Myślałem, że to pytanie nie jest głupie. Chciałbym udzielić odpowiedzi uczniowi, która wykracza poza stwierdzenie, że sd jest zdefiniowane jako sqrt wariancji, która jest średnim odchyleniem do kwadratu. Innymi słowy, dlaczego uczeń powinien stosować prawidłową formułę, a nie podążać za swoim pomysłem?

To pytanie dotyczy starszego wątku i udzielonych tutaj odpowiedzi . Odpowiedzi tam idą w trzech kierunkach:

1. $\sigma$ jest odchyleniem średniej kwadratowej (RMS), a nie „typowym” odchyleniem od średniej (tj. $\sigma_{new}$ ). Dlatego jest różnie zdefiniowany.
2. Ma ładne właściwości matematyczne.
3. Ponadto sqrt przywróciłoby „jednostki” do ich pierwotnej skali. Tak też byłoby w przypadku , który zamiast tego dzieli się przez$\sigma_{new}$$N$

Oba punkty 1 i 2 są argumentami na korzyść sd jako RMS, ale nie widzę argumentu przeciwko użyciu . Jakie byłyby dobre argumenty, aby przekonać studentów poziomu wprowadzające wykorzystaniem odległości średnie RMS ze średnią?$\sigma_{new}$$\sigma$

Istnieją co najmniej trzy podstawowe problemy, które można łatwo wytłumaczyć początkującym:

1. „Nowa” SD nie jest nawet zdefiniowana dla nieskończonych populacji. (W takich przypadkach można zadeklarować, że zawsze będzie równa zero, ale to nie uczyni go bardziej użytecznym).

2. Nowy SD nie zachowuje się tak, jak powinna robić średnia przy losowym próbkowaniu.

3. Chociaż nowego SD można używać z całą dyscypliną matematyczną do oceny odchyleń od średniej (w próbkach i skończonych populacjach), jego interpretacja jest niepotrzebnie skomplikowana.

1. Możliwość zastosowania nowego SD jest ograniczona

Punkt (1) można odnieść do domu, nawet dla tych, którzy nie są zaznajomieni z integracją, wskazując, że ponieważ wariancja jest wyraźnie średnią arytmetyczną (odchyleń kwadratowych), ma przydatne rozszerzenie na modele „nieskończonych” populacji, dla których intuicja dotycząca istnienia średniej arytmetycznej jest nadal aktualna. Dlatego jego pierwiastek kwadratowy - zwykle SD - jest również doskonale zdefiniowany w takich przypadkach i równie przydatny w swojej roli, jak (nieliniowa reekspresja) wariancji. Jednak nowy SD dzieli tę średnią przez dowolnie duży , co sprawia, że ​​problematyczne jest uogólnienie poza skończone populacje i skończone próbki: co powinno1/$\sqrt{N}$ być traktowany jako równy w takich przypadkach?$1/\sqrt{N}$

2. Nowa SD nie jest średnią

Każda statystyka warta nazwy „średnia” powinna mieć właściwość, która jest zbieżna z wartością populacji wraz ze wzrostem wielkości próby losowej z populacji. Każda stała wielokrotność SD miałaby tę właściwość, ponieważ mnożnik miałby zastosowanie zarówno do obliczania przykładowej SD, jak i SD populacji. (Chociaż nie jest to sprzeczne bezpośrednio z argumentem przedstawionym przez Alecosa Papadopoulosa, ta obserwacja sugeruje, że argument jest jedynie styczny do rzeczywistych problemów.) Jednak „nowa” SD, równa razy większa od zwykłej, oczywiście zbiega się do0we wszystkich okolicznościach, gdy wielkość próbkiNrośnie. Dlatego,chociaż dla każdej ustalonej wielkości próbkiNnowy SD (odpowiednio interpretowany) jest całkowicie odpowiednią miarą zmienności wokół średniej,nie można w uzasadniony sposób uznać go zauniwersalnypomiar mający taką samą interpretację dla wszystkich wielkości próby, ani nie może poprawnie nazywać się „średnią” w jakimkolwiek użytecznym znaczeniu.$1/\sqrt{N}$$0$$N$$N$

3. Nowa karta SD jest skomplikowana w interpretacji i użyciu

Rozważ pobranie próbek (powiedzmy) rozmiaru . Nowa SD w tych przypadkach wynosi 1 / $N=4$razy większej niż SD. Dlatego ma porównywalne interpretacje, takie jak analog reguły 68-95-99 (około 68% danych powinno mieścić się wdwóchnowych SD średniej, 95% z nich wczterechnowych SD średniejitp.; i utrzymają się wersje klasycznych nierówności, takie jak Czebychev (nie więcej niż1/k2danych może znajdować się w odległości większej niż2knowych SD od ich średniej); a Centralne Twierdzenie Graniczne można analogicznie przekształcić w odniesieniu do nowego SD (dzieli się przez$1/\sqrt{N}=1/2$$1/k^2$$2k$ razy nowy SD w celu standaryzacji zmiennej). Zatem w tym konkretnym i wyraźnie ograniczonym sensienie ma nic złego w propozycji studenta. Trudność polega jednak na tym, że wszystkie te stwierdzenia zawierają - całkiem wyraźnie - czynniki$\sqrt{N}$. Chociaż nie ma z tym nieodłącznego problemu matematycznego, z pewnością komplikuje stwierdzenia i interpretację najbardziej podstawowych praw statystyki.$\sqrt{N}=2$

---

Należy zauważyć, że Gauss i inni sparametryzowali rozkład Gaussa przez , skutecznie używając$\sqrt{2}\sigma$ krotność SD, aby określić ilościowo rozkład normalnej zmiennej losowej. To historyczne zastosowanie pokazuje słuszność i skuteczność używania innychstałychwielokrotności SD zamiast tego.$\sqrt{2}$

Załóżmy, że twoja próbka zawiera tylko dwie realizacje. Myślę, że intuicyjną miarą dyspersji byłoby średnie bezwzględne odchylenie (AAD)

$$AAD = \frac 12 (|x_1-\bar x| + |x_2-\bar x|) = ...= \frac {|x_1-x_2|}{2}$$

Chcielibyśmy więc, aby inne miary dyspersji na tym samym poziomie jednostek miar były „zbliżone” do powyższego.

Wariancja próbki jest zdefiniowana jako

$$\sigma^2=\frac{1}{2}[(x_1-\bar x)^2 + (x_2-\bar x)^2] = \frac 12 \left[\left(\frac {x_1-x_2}{2}\right)^2 + \left(\frac {x_2-x_1}{2}\right)^2\right]$$

$$=\frac 12 \left[\frac {(x_1-x_2)^2}{4} + \frac {(x_1-x_2)^2}{4}\right]=\frac 12 \frac {(x_1-x_2)^2}{2}$$

$$=\frac 12\cdot \frac {|x_1-x_2|^2}{2}$$

$q$

$$q \equiv \frac 12\cdot \sqrt {\frac {|x_1-x_2|^2}{2}} = \frac 12 \frac {|x_1-x_2|}{\sqrt 2} = \frac 1{\sqrt 2} AAD < AAD$$

i.e. we would have "downplayed" the "intuitive" measure of dispersion, while if we have considered the standard deviation as defined,

$$SD \equiv \sqrt {\sigma^2} = \frac {|x_1-x_2|}{2} =AAD$$

Since we want to "stay as close as possible" to the intuitive measure, we should use $SD$.

ADDENDUM
Let's consider now a sample of size $n$ We have

$$n\cdot AAD = \sum_{i=1}^n |x_i-\bar x|$$

and

$$n \cdot \text{Var}(X) = \sum_{i=1}^n (x_i-\bar x)^2 = \sum_{i=1}^n |x_i-\bar x|^2$$

we can write the right-hand side of the variance expression as

$$\sum_{i=1}^n |x_i-\bar x|^2 = \left(\sum_{i=1}^n |x_i-\bar x|\right)^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$$

$$= \left (n\cdot AAD\right)^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$$

Then the dispersion measure $q_n$ will be

$$q_n \equiv \frac 1n \left[n^2\cdot AAD^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

$$= \left[AAD^2 - \frac 1{n^2} \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

Now think informally: note that $\sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$ contains $n^2-n$ terms, and so divided by $n^2$ will left us with "one term in the second power". But also "one term in the 2nd power" is what we have in $AAD^2$: this is a primitive way to "sense" why $q_n$ will tend to zero as $n$ grows large. On the other hand the Standard Deviation as defined would be

$$SD \equiv \frac 1{\sqrt n} \left[n^2\cdot AAD^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

$$= \left[n\cdot AAD^2 - \frac 1{n} \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

Continuing are informal thinking, the first term gives us $n$ "terms in the 2nd power", while the second term gives us $n-1$ "terms in the second power" . So we will be left eventually with one such term, as $n$ grows large, and then we will take its square root.
This does not mean that the Standard Deviation as defined will equal the Average Absolute Deviation in general (it doesn't), but it does show that it is suitably defined so as to be "on a par" with it for any $n$, as well as for the case when $n\rightarrow \infty$.