Dlaczego Rao-Blackwell twierdzenia wymagają

Twierdzenie Rao-Blackwella

Niech być estymatorem z dla wszystkich . Załóżmy, że jest wystarczająca dla i niech Wtedy dla wszystkich , Nierówność jest ścisła chyba $\hat{\theta}$ $\theta$ $\Bbb E (\hat{\theta}^2) < \infty$ $\theta$ $T$ $\theta$ $\theta ^ * = \Bbb E (\hat{\theta}|T)$ $\theta$
$E (θ^{*} - θ)^{2} \leq E (\hat{θ} - θ)^{2}$ $\Bbb E (\theta^* - \theta )^2 \leq \Bbb E (\hat{\theta} - \theta )^2$ $\hat{\theta}$ jest funkcją $T$

$T$ $\theta$ $\hat{\theta}$ $T$ $\min_{\hat{\theta}} \Bbb E$ $(\hat{\theta}-\theta)^2$

Moje pytania

Czy mam rację, że minimalizuje ? $\theta^*$ $\Bbb E$ $(\hat{\theta}-\theta)^2$
Dlaczego twierdzenie Rao-Blackwella wymaga ? $\Bbb E(\hat{\theta}^2) < \infty$
Dlaczego nierówność jest ścisła, chyba że jest funkcją ? $\hat{\theta}$ $T$

rao-blackwell

— Stan Shunpike
źródło

Możliwy duplikat intuicyjnego i formalnego uzasadnienia dla twierdzenia Rao-Blackwella

— Xi'an

Co jest wymagane, aby znaleźć ?

min_{\hat{θ}} E

$\min_{\hat{\theta}} \Bbb E$

(\hat{θ} - θ)^{2}

$(\hat{\theta}-\theta)^2$

— Stan Shunpike

Odpowiedzi:

Nie, jest lepszym estymatorem niż ale niekoniecznie najlepszy (cokolwiek to oznacza!) $\theta^*$ $\hat\theta$
Jeśli estymator nie ma wariancji, wówczas jego ryzyko jest nieskończone i nie ma gwarancji, że ma skończone ryzyko (chociaż może się tak zdarzyć, jak zauważył Horst Grünbusch w swoich komentarzach). $\theta^*$
W przypadku wariancji skończonej dla nierówność jest surowa z powodu rozkładu wariancji jako sumy oczekiwanej wariancji warunkowej plus wariancji oczekiwanej warunkowości Chyba że oczekiwana wariancja warunkowa wynosi zero, co oznacza, że jest funkcją tylko $\hat\theta$ $var (\hat{θ}) = E_{T} [var (\hat{θ} | T)] + {var}_{T} (E [\hat{θ} | T]) = E_{T} [var (θ | T)] + {var}_{T} (θ^{*})$ $\text{var}(\hat\theta)=\mathbb{E}_T[\text{var}(\hat\theta|T)]+ \text{var}_T(\mathbb{E}[\hat\theta|T])=\mathbb{E}_T[\text{var}(\theta|T)]+\text{var}_T(\theta^*)$ $\hat\theta$ $T$

— Xi'an
źródło

ad 2: Dlaczego nie jest możliwe, aby ? Rozważmy jako estymator dla , gdzie , a niepowiązany rv dystrybuowany przez Cauchy'ego.

E ({\hat{θ}}^{2} | T) < E ({\hat{θ}}^{2}) = \infty

$E(\hat{\theta}^2|T)<E(\hat{\theta}^2)=\infty$

\hat{θ} = X + C

$\hat{\theta} = X + C$

μ

$\mu$

X \sim N (μ, σ^{2})

$X \sim \mathcal{N}(\mu,\sigma^2)$

C

$C$

— Horst Grünbusch

@ HorstGrünbusch Dlaczego kawałek Cauchy'ego odejdzie, kiedy będziesz warować na ? Również nie jest obiektywnym estymatorem.

T

$T$

\hat{θ}

$\hat{\theta}$

— dsaxton

@ HorstGrünbusch Wydaje mi się, że twój nawet nie ma warunkowego oczekiwania (ponieważ nie ma takiego oczekiwania), więc byłby niezdefiniowany.

\hat{θ}

$\hat{\theta}$

∣ T

$\mid T$

C

$C$

θ^{*}

$\theta^\ast$

— Juho Kokkala

OK, wszystko czego chciałem to bez wariancji, nie bez oczekiwań. ;) Ma teraz , czyli t-Studenta rozmieszczone z 2 stopniami swobody i i , niezależnie od . Statystyki wystarczające jest wyraźnie . Następnie , ale

C

$C$

C \sim t_{2}

$C \sim t_2$

E (C) = 0

$E(C)=0$

C

$C$

X

$X$

X

$X$

E (X + C | X) = E (X | X) + E (C | X) = X + E (C) = X

$E(X+C|X) = E(X|X) + E(C|X) = X + E(C) = X$

\infty = V a r (C) + V a r (X) = V a r (X + C) > V a r (X + C | X) = σ^{2}

$\infty=Var(C) + Var(X) = Var(X+C)>Var(X+C|X)=\sigma^2$

— Horst Grünbusch

Myślę więc, że to źle, że estymator Rao-Blackwella ma koniecznie nieskończoną wariancję, jeśli oryginalny estymator ma nieskończoną wariancję. (Ale nawet gdyby obie wariancje byłyby nieskończone nadal by się utrzymywały).

\infty \leq \infty

$\infty \leq \infty$

— Horst Grünbusch

Pamiętaj, że wystarczająca statystyka nie jest wyjątkowa. Co prawda, wszystkie dane są wystarczające, ale uzależnienie od nich estymatora nic nie zmienia. Zatem sama wystarczająca statystyka nie jest wystarczająca (pun!), Aby mieć minimalny średni błąd kwadratu. Zobacz twierdzenie Lehmanna-Scheffégo, które wykorzystuje w dowodzie twierdzenie Rao-Blackwella dla wystarczającej wystarczalności (w rzeczywistości jest wystarczające i kompletne).
Jeśli oba są nieskończone, słaba nierówność jest zawsze prawdziwa. Ale następnie, jako kontrprzykład, możesz zbudować wystarczającą statystykę, która nie jest funkcją ale wciąż ma nieskończoną wariancję (taką, że zachowuje tylko ). $T$ $\leq$

Weźmy na przykład , zmienioną losowo zmienną z i , oraz jako inną niezależną zmienną losową . Parametrem do oszacowania jest . Oryginalny estymator to . Wystarczającą statystyką jest oczywiście . Zarówno estymator Rao-Blackwella i mają nieskończoną wariancję. Tak więc nierówność byłaby słaba. Z drugiej strony nie jest zwykłą funkcją $C_1 \sim t_2 + \mu$ $t_2$ $E(C_1) = \mu$ $Var(C_1) = \infty$ $C_2 \sim t_2$ $\mu$ $\hat{\theta} = C_1 + C_2$ $C_1$ $E(\hat{\theta}|C_1)=C_1$ $\hat{\theta}$ $C_1+C_2$ $C_1$ : Obejmuje inną zmienną losową, więc byłoby to sprzeczne z ostatnim zdaniem, o które zadałeś swoje trzecie pytanie. W rzeczywistości niektóre podręczniki dopuszczają nieskończoną wariancję oryginalnego estymatora, ale z kolei nie mogą podać, kiedy trzyma. $<$

Jeśli jest funkcją , możesz udowodnić twierdzeniem faktoryzacji, że jest już wystarczający dla . Więc znowu kończy się to, że nic nie poprawiamy. Poza tym przypadkiem nierówność jest ścisła, a to nietrywialne twierdzenie twierdzenia. $\hat{\theta}$ $T$ $\hat{\theta}$ $\theta$

— Horst Grünbusch
źródło