Z istnienia UMVUE i wybór estymatora w populacji

Niech jest losowa próbka pobierana z populacji, w której . $(X_1,X_2,\cdots,X_n)$ $\mathcal N(\theta,\theta^2)$ $\theta\in\mathbb R$

Szukam UMVUE z $\theta$ .

Łączna gęstość $(X_1,X_2,\cdots,X_n)$ wynosi

\begin{aligned} {fa}_{θ} (x_{1}, x_{2)}, \dots, x_{n}) & = \prod_{ja = 1}^{n} \frac{1}{θ \sqrt{2) π}} \exp [- \frac{1}{2) θ^{2)}} (x_{ja} - θ)^{2)}] \\ = \frac{1}{(θ \sqrt{2) π})^{n}} \exp [- \frac{1}{2) θ^{2)}} \sum_{ja = 1}^{n} (x_{ja} - θ)^{2)}] \\ = \frac{1}{(θ \sqrt{2) π})^{n}} \exp [\frac{1}{θ} \sum_{ja = 1}^{n} x_{ja} - \frac{1}{2) θ^{2)}} \sum_{ja = 1}^{n} x_{ja}^{2)} - \frac{n}{2)}] \\ = sol (θ, T. (x)) h (x) \forall (x_{1}, \dots, x_{n}) \in R^{n}, \forall θ \in R \end{aligned}

$\begin{align} f_{\theta}(x_1,x_2,\cdots,x_n)&=\prod_{i=1}^n\frac{1}{\theta\sqrt{2\pi}}\exp\left[-\frac{1}{2\theta^2}(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[-\frac{1}{2\theta^2}\sum_{i=1}^n(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right] \\&=g(\theta,T(\mathbf x))h(\mathbf x)\qquad\forall\,(x_1,\cdots,x_n)\in\mathbb R^n\,,\forall\,\theta\in\mathbb R \end{align}$

, gdzie $g(\theta, T(\mathbf x))=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right]$ i $h(\mathbf x)=1$ .

Tutaj zależy od i do i jest niezależny od . Zatem według twierdzenia faktoryzacji Fishera-Neymana dwuwymiarowa statystyka wystarcza do . $g$ $\theta$ $x_1,\cdots,x_n$ $T(\mathbf x)=\left(\sum_{i=1}^nx_i,\sum_{i=1}^nx_i^2\right)$ $h$ $\theta$ $T(\mathbf X)=\left(\sum_{i=1}^nX_i,\sum_{i=1}^nX_i^2\right)$ $\theta$

Jednak nie jest kompletną statystyką. Jest tak, ponieważ $T$

{mi}_{θ} [2) {(\sum_{ja = 1}^{n} X_{ja})}^{2)} - (n + 1) \sum_{ja = 1}^{n} X_{ja}^{2)}] = 2) n (1 + n) θ^{2)} - (n + 1) 2) n θ^{2)} = 0 \forall θ

$E_{\theta}\left[2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2\right]=2n(1+n)\theta^2-(n+1)2n\theta^2=0\qquad\forall\,\theta$

i funkcja nie jest identycznie zerowy. $g^*(T(\mathbf X))=2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2$

Ale wiem, że jest minimalną wystarczającą statystyką. $T$

Nie jestem pewien, ale sądzę, że pełna statystyka dla tej zakrzywionej rodziny wykładniczej może nie istnieć. Jak więc mam zdobyć UMVUE? Jeśli pełna statystyka nie istnieje, czy obiektywnym estymatorem ( w tym przypadku ), który jest funkcją minimalnej wystarczającej statystyki, może być UMVUE? (Wątek pokrewny: Jaki jest niezbędny warunek dla bezstronnego estymatora, aby był UMVUE? ) $\bar X$

Co się stanie, jeśli wezmę pod uwagę najlepszy liniowy estymator obiektywny (NIEBIESKI) z ? Czy NIEBIESKI może być UMVUE? $\theta$

Załóżmy, że rozważam liniowy estymator obiektywny z gdzie i . Ponieważ wiemy, że . Moim pomysłem jest zminimalizowanie , aby był NIEBIESKI z . Czy byłoby wtedy UMVUE ? $T^*(\mathbf X)=a\bar X+(1-a)cS$ $\theta$ $c(n)=\sqrt{\frac{n-1}{2}}\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}$ $S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2$ $E_{\theta}(cS)=\theta$ $\text{Var}(T^*)$ $T^*$ $\theta$ $T^*$ $\theta$

Wziąłem liniowy obiektywny estymator oparty na i ponieważ jest również wystarczające dla . $\bar X$ $S$ $(\bar X,S^2)$ $\theta$

Edytować:

Rzeczywiście dużo pracy włożono w oszacowanie w bardziej ogólnej rodzinie której znane jest . Oto niektóre z najbardziej odpowiednich odniesień: $\theta$ $\mathcal N(\theta,a\theta^2)$ $a>0$

Szacowanie średniej rozkładu normalnego ze znanym współczynnikiem zmienności według Glesera / Healy.
Uwaga na temat szacowania średniej rozkładu normalnego ze znanym współczynnikiem zmienności według RA Khan.
Uwaga na temat szacowania średniej rozkładu normalnego ze znanym współczynnikiem zmienności przez RA Khana.
Wyciąg z tego rozdziału.

Pierwsze z tych odniesień znalazłem w tym ćwiczeniu na podstawie wnioskowania statystycznego Caselli / Berger:

Moje pytanie nie dotyczy jednak tego ćwiczenia.

Ostatnia uwaga (wyciąg z rozdziału) mówi, że UMVUE z nie istnieje, $\theta$ ponieważ minimalna wystarczająca statystyka nie jest kompletna. Chciałbym wiedzieć, co pozwala nam stwierdzić, że UMVUE nie istnieje po prostu dlatego, że nie można znaleźć kompletnej wystarczającej statystyki? Czy jest jakiś związany z tym wynik? Widzę istnienie UMVUE, nawet jeśli w połączonym wątku nie ma wystarczających statystyk.

Zakładając teraz, że nie istnieje obiektywnie estymator o jednolitej minimalnej wariancji, jakie powinny być nasze następne kryteria wyboru „najlepszego” estymatora? Czy szukamy minimalnego MSE, minimalnej wariancji czy MLE? A może wybór kryteriów zależy od naszego celu oszacowania?

Załóżmy na przykład, że mam bezstronny estymator i inny tendencyjny estymator z . Załóżmy, że MSE dla (co jest jego wariancją) jest większe niż dla . Ponieważ minimalizacja MSE oznacza jednocześnie minimalizację błędu systematycznego i wariancji, uważam, że powinien być „lepszym” wyborem estymatora niż chociaż ten pierwszy jest stronniczy. $T_1$ $T_2$ $\theta$ $T_1$ $T_2$ $T_2$ $T_1$

Prawdopodobne wybory estymatorów są wymienione na stronie 4 ostatniej nuty. $\theta$

Poniższy fragment pochodzi z Theory of Point Estimation autorstwa Lehmann / Casella (drugie wydanie, strony 87-88):

Jest wysoce prawdopodobne, że źle wszystko zrozumiałem, ale czy ostatnie zdanie mówi, że w pewnych warunkach istnienie pełnej statystyki jest konieczne do istnienia UMVUE? Jeśli tak, to czy powinienem na to spojrzeć?

Ten ostatni wynik z powodu RR Bahadur, który jest wymieniony na końcu, odnosi się do tej uwagi.

Po dalszych poszukiwaniach znalazłem wynik stwierdzający, że jeśli minimalna wystarczająca statystyka nie jest kompletna, to kompletna statystyka nie istnieje. Przynajmniej jestem przekonany, że nie ma tu pełnej statystyki.

Innym wynikiem, o którym zapomniałem wziąć pod uwagę, jest ten, który z grubsza mówi, że koniecznym i wystarczającym warunkiem dla bezstronnego estymatora, jakim jest UMVUE, jest to, że musi on być nieskorelowany z każdym bezstronnym estymatorem zerowym. Próbowałem użyć tego twierdzenia, aby pokazać, że UMVUE nie istnieje tutaj, a także fakt, że bezstronny estymator, taki jak nie jest UMVUE. Ale to nie działa tak prosto jak to zrobiono, na przykład tutaj , na końcowej ilustracji. $\bar X$

— UpartyAtom
źródło

Aktualizacja:

Rozważ estymator gdzie jest podane w twoim poście. Jest to obiektywny estymator i będzie wyraźnie skorelowany z estymatorem podanym poniżej (dla dowolnej wartości ).

\hat{0} = \bar{X} - do S.

$\hat 0 = \bar{X} - cS$

c

$c$

0

$0$

a

$a$

Twierdzenie 6.2.25 z C&B pokazuje, jak znaleźć kompletne wystarczające statystyki dla rodziny wykładniczej, o ile zawiera otwarty zestaw w . Niestety ten rozkład daje i co NIE tworzy otwartego zestawu w (ponieważ ) Z tego powodu statystyki nie są kompletne dla i z tego samego powodu możemy skonstruować obiektywny estymator które będą skorelowane z dowolnym obiektywnym estymatorem

{(w_{1} (θ), \dots w_{k} (θ)}

$\{(w_1(\theta), \cdots w_k(\theta)\}$

R^{k}

$\mathbb R^k$

w_{1} (θ) = θ^{- 2}

$w_1(\theta) = \theta^{-2}$

w_{2} (θ) = θ^{- 1}

$w_2(\theta) = \theta^{-1}$

R^{2}

$R^2$

w_{1} (θ) = w_{2} (θ)^{2}

$w_1(\theta) = w_2(\theta)^2$

(\bar{X}, S^{2})

$(\bar{X}, S^2)$

θ

$\theta$

0

$0$

θ

$\theta$ która jest oparta na wystarczających statystykach.

Kolejna aktualizacja:

Stąd argument jest konstruktywny. Musi być tak, że istnieje inny obiektywny estymator taki że dla co najmniej jednego . $\tilde\theta$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta \in \Theta$

Dowód: Załóżmy, że , i (dla pewnej wartości ). Zastanów się nad nowym estymatorem Ten estymator jest wyraźnie bezstronny z wariancją Niech . $E(\hat\theta) = \theta$ $E(\hat 0) = 0$ $Cov(\hat\theta, \hat 0) < 0$ $\theta$

\tilde{θ} = \hat{θ} + b \hat{0}

$\tilde\theta = \hat\theta + b\hat0$

V. za r (\tilde{θ}) = V. za r (\hat{θ}) + b^{2)} V. za r (\hat{0}) + 2) b do o v (\hat{θ}, \hat{0})

$Var(\tilde\theta) = Var(\hat\theta) + b^2Var(\hat0) + 2bCov(\hat\theta,\hat0)$

M (θ) = \frac{- 2 C o v (\hat{θ}, \hat{0})}{V a r (\hat{0})}

$M(\theta) = \frac{-2Cov(\hat\theta, \hat0)}{Var(\hat0)}$

Z założenia musi istnieć taki, że . Jeśli wybierzemy , to w . Dlatego nie może być UMVUE. $\theta_0$ $M(\theta_0) > 0$ $b \in (0, M(\theta_0))$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta_0$ $\hat\theta$ $\quad \square$

Podsumowując: Fakt, że jest skorelowany z (dla dowolnego wyboru ) oznacza, że możemy zbudować nowy estymator, który jest lepszy niż dla co najmniej jednego punktu , co narusza jednorodność Roszczenie za najlepszą bezstronność. $\hat\theta$ $\hat0$ $a$ $\hat\theta$ $\theta_0$ $\hat\theta$

Przyjrzyjmy się bliżej twojemu pomysłowi kombinacji liniowych.

\hat{θ} = za \bar{X} + (1 - za) do S.

$\hat\theta = a \bar X + (1-a)cS$

Jak zauważyłeś, jest rozsądnym estymatorem, ponieważ opiera się na wystarczających (choć niepełnych) statystykach. Oczywiście estymator ten jest bezstronny, więc aby obliczyć MSE, potrzebujemy tylko obliczyć wariancję. $\hat\theta$

\begin{aligned} M. S. mi (\hat{θ}) & = {za}^{2)} V. za r (\bar{X}) + (1 - za)^{2)} {do}^{2)} V. za r (S.) \\ = \frac{{za}^{2)} θ^{2)}}{n} + (1 - za)^{2)} {do}^{2)} [mi ({S.}^{2)}) - mi (S.)^{2)}] \\ = \frac{{za}^{2)} θ^{2)}}{n} + (1 - za)^{2)} {do}^{2)} [θ^{2)} - θ^{2)} / {do}^{2)}] \\ = θ^{2)} [\frac{{za}^{2)}}{n} + (1 - za)^{2)} ({do}^{2)} - 1)] \end{aligned}

$\begin{align*} MSE(\hat\theta) &= a^2 Var(\bar{X}) + (1-a)^2 c^2 Var(S) \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[E(S^2) - E(S)^2\right] \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[\theta^2 - \theta^2/c^2\right] \\ &= \theta^2\left[\frac{a^2}{n} + (1-a)^2(c^2 - 1)\right] \end{align*}$

Różniczkując, możemy znaleźć „optymalne ” dla danej wielkości próbki . $a$ $n$

{za}_{o p t} (n) = \frac{{do}^{2)} - 1}{1 / n + {do}^{2)} - 1}

$a_{opt}(n) = \frac{c^2 - 1}{1/n + c^2 - 1}$ gdzie

{do}^{2)} = \frac{n - 1}{2)} {(\frac{Γ ((n - 1) / 2))}{Γ (n / 2))})}^{2)}

$c^2 = \frac{n-1}{2}\left(\frac{\Gamma((n-1)/2)}{\Gamma(n/2)}\right)^2$

Wykres tego optymalnego wyboru podano poniżej. $a$

Interesująco jest zauważyć, że jako mamy (potwierdzone przez Wolframalpha). $n\rightarrow \infty$ $a_{opt}\rightarrow \frac{1}{3}$

Chociaż nie ma gwarancji, że jest to UMVUE, estymator ten jest estymatorem minimalnej wariancji wszystkich obiektywnych kombinacji liniowych wystarczających statystyk.

— knrumsey
źródło

Dziękuję za aktualizację. Nie podążałem za C&B jako podręcznikiem, tylko patrzyłem na ćwiczenia.

— StubbornAtom

@StubbornAtom Dodałem dowód pokazujący, dlaczego nie może być UMVUE (mocno pożyczony z C&B strona 344). Spójrz i daj mi znać, czy to w ogóle pomoże.

\hat{θ}

$\hat\theta$

— knrumsey