Dlaczego odchylenie standardowe próbki jest stronniczym estymatorem

Zgodnie z artykułem Wikipedii na temat obiektywnej oceny odchylenia standardowego próbka SD

s = \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}}

$s = \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \overline{x})^2}$

jest tendencyjnym estymatorem SD populacji. Stwierdza, że . $E(\sqrt{s^2}) \neq \sqrt{E(s^2)}$

NB Zmienne losowe są niezależne i każda $x_{i} \sim N(\mu,\sigma^{2})$

Moje pytanie jest dwojakie:

Jaki jest dowód stronniczości?
Jak obliczyć oczekiwane odchylenie standardowe próbki

Moja wiedza na temat matematyki / statystyk jest tylko pośrednia.

estimation standard-deviation

— Dav Weps
źródło

Odpowiedź na oba pytania znajdziesz w artykule w Wikipedii na temat dystrybucji Chi .

— whuber

Odpowiedź NRH na to pytanie daje ładny, prosty dowód na stronniczość odchylenia standardowego próbki. Tutaj wyraźnie obliczyć oczekiwane odchylenie standardowe próbki (drugie pytanie oryginalnego plakatu) od normalnie rozłożonej próbki, w którym to momencie odchylenie jest jasne.

Bezstronna próbna wariancja zbioru punktów wynosi $x_1, ..., x_n$

s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

$s^{2} = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \overline{x})^2$

Jeśli są normalnie dystrybuowane, jest to faktem $x_i$

\frac{(n - 1) s^{2}}{σ^{2}} \sim χ_{n - 1}^{2}

$\frac{(n-1)s^2}{\sigma^2} \sim \chi^{2}_{n-1}$

gdzie jest prawdziwą wariancją. Rozkład ma gęstość prawdopodobieństwa $\sigma^2$ $\chi^2_{k}$

p (x) = \frac{(1 / 2)^{k / 2}}{Γ (k / 2)} x^{k / 2 - 1} e^{- x / 2}

$p(x) = \frac{(1/2)^{k/2}}{\Gamma(k/2)} x^{k/2 - 1}e^{-x/2}$

używając tego możemy uzyskać oczekiwaną wartość ; $s$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} E (\sqrt{\frac{s^{2} (n - 1)}{σ^{2}}}) \\ = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \sqrt{x} \frac{(1 / 2)^{(n - 1) / 2}}{Γ ((n - 1) / 2)} x^{((n - 1) / 2) - 1} e^{- x / 2} d x \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} E \left( \sqrt{\frac{s^2(n-1)}{\sigma^2}} \right) \\ &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \sqrt{x} \frac{(1/2)^{(n-1)/2}}{\Gamma((n-1)/2)} x^{((n-1)/2) - 1}e^{-x/2} \ dx \end{align}$

co wynika z definicji wartości oczekiwanej i faktu, że jest pierwiastkiem kwadratowym zmiennej rozproszonej . Sztuką jest teraz zmiana kolejności terminów, tak aby integrand stał się inną gęstością : $\sqrt{\frac{s^2(n-1)}{\sigma^2}}$ $\chi^2$ $\chi^2$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (\frac{n - 1}{2})} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \cdot \frac{(1 / 2)^{(n - 1) / 2}}{(1 / 2)^{n / 2}} \underset{χ_{n}^{2} d e n s i t y}{\underset{⏟}{\int_{0}^{\infty} \frac{(1 / 2)^{n / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x}} \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(\frac{n-1}{2})} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \cdot \frac{ (1/2)^{(n-1)/2} }{ (1/2)^{n/2} } \underbrace{ \int_{0}^{\infty} \frac{(1/2)^{n/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx}_{\chi^2_n \ {\rm density} } \end{align}$

teraz wiemy, że całka i ostatnia linia jest równa 1, ponieważ jest to gęstość . Uproszczenie stałych daje trochę $\chi^2_{n}$

E (s) = σ \cdot \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}

$E(s) = \sigma \cdot \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) }$

Dlatego błąd jest $s$

σ - E (s) = σ (1 - \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}) \sim \frac{σ}{4 n}

$\sigma - E(s) = \sigma \bigg(1 - \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \bigg) \sim \frac{\sigma}{4 n} \>$ as .

n \to \infty

$n \to \infty$

Nietrudno zauważyć, że to odchylenie nie jest równe 0 dla żadnego skończonego , co dowodzi odchylenia standardowego próbki. Poniżej odchylenia jest wykres w funkcji dla na czerwono wraz z na niebiesko: $n$ $n$ $\sigma=1$ $1/4n$

wprowadź opis zdjęcia tutaj

— Makro
źródło

(+1) Dobra odpowiedź. Mam nadzieję, że nie masz nic przeciwko, poprawiłem kilka bardzo drobnych rzeczy i dodałem asymptotyczny wynik w odniesieniu do stronniczości. Przypuszczam, że można nałożyć krzywą na wykres, ale prawdopodobnie nie jest to konieczne. Twoje zdrowie. :)

(4 n)^{- 1}

$(4n)^{-1}$

— kardynał

Naprawdę bardzo się starałeś, aby zrobić to makro. Kiedy po raz pierwszy zobaczyłem post około minutę temu, myślałem o wykazaniu stronniczości przy użyciu reguły Jensena, ale ktoś już to zrobił.

— Michael Chernick,

oczywiście jest to okrągły sposób pokazania, że odchylenie standardowe jest tendencyjne - odpowiadałem głównie na drugie pytanie pierwotnego autora: „Jak obliczyć oczekiwane odchylenie standardowe?”.

— Makro

Inną kwestią, o której warto wspomnieć, jest to, że obliczenia te pozwalają natychmiast odczytać, czym jest estymator UMVU odchylenia standardowego w przypadku Gaussa: wystarczy pomnożyć przez odwrotność współczynnika skali, który pojawia się w dowodzie. Uogólnia to estymatory UMVU dość łatwo.

s

$s$

σ^{k}

$\sigma^k$

— kardynał

Przepraszam, Makro. To samo podstawowe podejście, które zastosowałeś, zadziała, po prostu skończysz na innym współczynniku skalowania , z argumentami gamma, które otrzymujesz jako funkcjami . To miałem na myśli, ale wyszło to nieco zbyt zwięźle. :)

s^{k}

$s^k$

k

$k$

— kardynał

Nie potrzebujesz normalności. Wszystko czego potrzebujesz to to, że jest obiektywnym estymatorem wariancji . Następnie użyj tego, że funkcja pierwiastka kwadratowego jest ściśle wklęsła, tak że (przez silną formę nierówności Jensena ) chyba że rozkład jest zdegenerowane w .

s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

$s^2 = \frac{1}{n-1} \sum_{i=1}^n(x_i - \bar{x})^2$

σ^{2}

$\sigma^2$

E (\sqrt{s^{2}}) < \sqrt{E (s^{2})} = σ

$E(\sqrt{s^2}) < \sqrt{E(s^2)} = \sigma$

s^{2}

$s^2$

σ^{2}

$\sigma^2$

— NRH
źródło

Uzupełniając odpowiedź NRH, jeśli ktoś uczy tego grupie studentów, którzy jeszcze nie badali nierówności Jensena, jednym ze sposobów jest zdefiniowanie przykładowego odchylenia standardowego załóżmy, że nie jest zdegenerowany (dlatego ) i zauważ równoważność

S_{n} = \sqrt{\sum_{i = 1}^{n} \frac{(X_{i} - {\bar{X}}_{n})^{2}}{n - 1}},

$S_n = \sqrt{\sum_{i=1}^n\frac{(X_i-\bar{X}_n)^2}{n-1}} ,$

S_{n}

$S_n$

V a r [S_{n}] \neq 0

$\mathrm{Var}[S_n]\ne0$

0 < V a r [S_{n}] = E [S_{n}^{2}] - E^{2} [S_{n}] \Leftrightarrow E^{2} [S_{n}] < E [S_{n}^{2}] \Leftrightarrow E [S_{n}] < \sqrt{E [S_{n}^{2}]} = σ .

$0 < \mathrm{Var}[S_n] = \mathrm{E}[S_n^2] - \mathrm{E}^2[S_n] \;\;\Leftrightarrow\;\; \mathrm{E}^2[S_n] < \mathrm{E}[S_n^2] \;\;\Leftrightarrow\;\; \mathrm{E}[S_n] < \sqrt{\mathrm{E}[S_n^2]} =\sigma.$

— Zen
źródło