Rozkład MSE do wariancji i odchylenia kwadratowego

Pokazując, że MSE można rozłożyć na wariancję plus kwadrat odchylenia, dowód w Wikipedii ma krok, zaznaczony na zdjęciu. Jak to działa? W jaki sposób oczekiwanie jest przenoszone na produkt z 3 na 4 etap? Jeśli te dwa warunki są niezależne, czy nie należy stosować oczekiwań do obu warunków? a jeśli nie są, czy ten krok jest ważny? wprowadź opis zdjęcia tutaj

random-variable expected-value mse

— statBeginner
źródło

Odpowiedzi:

Sztuka polega na tym, że jest stałą. $\mathbb{E}(\hat{\theta}) - \theta$

— AdamO
źródło

Rozumiem. Jedyną niewiadomą jest estymator. Dobrze?

— statBeginner,

Tak. Przyjmowanie oczekiwań oznacza, że estymator przechodzi do wszystkiego, co szacuje, dlatego

E (\hat{θ} - E (\hat{θ}))

$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

— przyjmuje

Przepraszam, to zdanie nie ma dla mnie większego sensu. Jeśli estymator poszedłby do tego, co szacował, czy nie uczyniłoby to go obiektywnym? Czy można to wyjaśnić, mówiąc: = = = 0?

E (\hat{θ} - E (\hat{θ}))

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (E (\hat{θ}))

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (\hat{θ})

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

— user1158559

@ user1158559 termin produktu w środku jest stałą razy coś o oczekiwanej wartości 0. Nawet jeśli theta-hat jest tendencyjny, to wciąż jest stały razy 0.

— AdamO 18.04.17

E (\hat{θ}) - θ

$\mathbb{E}(\hat{\theta}) - \theta$ jest zmienną, a nie stałą. Sztuczka jest również mniej trywialna i z stała nie staje się 0 jako domyślna (na przykład ). Prawdziwa sztuczka polega na tym, że jest stałą (i można ją wyjąć z całki), więc

E (c)

$\mathbb{E}(c)$

c

$c$

E ((E (\hat{θ}) - θ)^{2}) \neq 0

$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$

\int x p (x)

$\int x p(x)$

\int (\int x p (x)) p (x) = (\int x p (x)) \int p (x) = (\int x p (x)) 1 = (\int x p (x))

$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

— Sextus Empiricus

Odpowiedź Adama jest poprawna na temat sztuczki, w której jest stałą. Pomaga jednak znaleźć wynik końcowy i nie wyjaśnia jasno pytania o konkretny krok w artykule na Wikipedii (edytuj: który, jak widzę, był niejednoznaczny, jeśli chodzi o wyróżnienie i krok od linii trzeciej do linii czwartej). $E(\hat{\theta}) - \theta$

(zwróć uwagę, że pytanie dotyczy zmiennej , która różni się od stałej w odpowiedzi Adama. Napisałem to źle w moim komentarzu. Rozszerzając terminy dla większej przejrzystości: zmienna jest szacowana , stałe są oczekiwaniem na to oszacowanie i prawdziwa wartość ) $\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$ $\hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right]$ $\theta$

Sztuczka 1: Zastanów się

zmienna $x=\hat{\theta}$

stała $a=\mathbb{E}\left[ \hat{\theta} \right]$

i stała $b = \theta$

Następnie relację można łatwo napisać za pomocą reguł transformacji wyrażających momenty zmiennej o w kategoriach momentów zmiennej o . $x$ $b$ $x$ $a$

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

Sztuczka 2: Po raz drugi powyższa formuła ma w podsumowaniu trzy terminy. Możemy wyeliminować jeden z nich (przypadek ), ponieważ $i=1$ $\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

Tutaj można również argumentować, że coś jest stałe. Mianowicie jeśli jest stałą i używając , która jest stałą, otrzymujesz . $\mathbb{E}(a)=a$ $a$ $a=\mathbb{E}(\theta)$ $\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$

Bardziej intuicyjnie: uczyniliśmy moment około , równy momentowi środkowemu (a nieparzyste momenty centralne wynoszą zero). Dostajemy trochę tautologii. Odejmując średnią ze zmiennej, , generujemy zmienną o średniej zero. A średnia „zmiennej ze średnią zero” wynosi zero. $x$ $a$ $\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$

Artykuł w Wikipedii wykorzystuje te dwie sztuczki odpowiednio w trzeciej i czwartej linii.

Zagnieżdżone oczekiwanie w trzeciej linii

$\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

upraszcza się, biorąc stałą część poza nią (sztuczka 1). $(\mathbb{E}({\hat{\theta}})-\theta)$
Termin rozwiązuje się (jako równy zeru), wykorzystując fakt, że zmienna ma zero (sztuczka 2). $\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$ $\hat{\theta} -\mathbb{E}(\hat{\theta})$

— Sextus Empiricus
źródło

$E(\hat{\theta}) - \theta$ nie jest stałą.

Komentarz @ user1158559 jest właściwie poprawny:

E [\hat{θ} - E (\hat{θ})] = E (\hat{θ}) - E [E (\hat{θ})] = E (\hat{θ}) - E (\hat{θ}) = 0

$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$

— mały potwór
źródło

Nie widzę tego, co próbujesz pokazać. Również odchylenie może nie być zerowe, ale to nie znaczy, że nie jest stałe.

— Michael R. Chernick

Nie jest to stałe, ponieważ gdzie to dane treningowe, które są również zmienną losową. Zatem jego oczekiwanie nie jest stałe.

\hat{θ} = f (D)

$\hat{\theta} = f(D)$

D

$D$

— little_monster,

Ponadto fakt, że nie jest on stały lub nie, nie może wyjaśnić, w jaki sposób krok 4 jest możliwy od kroku 3. Z drugiej strony komentarz @ user1158559 wyjaśnia to.

— little_monster,

@Michael, doszło do zamieszania na temat tego pytania. Podświetlona część zawiera to wyrażenie , ale w tekście pytania wspomniano, że tak jest o zmianie z trzeciej linii na czwartą linię, zmieniając zagnieżdżanie oczekiwań.

E (\hat{θ} - E (\hat{θ})) = 0

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$

— Sextus Empiricus