Poprawa minimalnego estymatora

Załóżmy, że mam pozytywne parametry oszacować i odpowiadające im pakietów szacunki produkowane przez estymatorów , tj. , i tak dalej.$n$$\mu_1,\mu_2,...,\mu_n$$n$$\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}$$\mathrm E[\hat{\mu_1}]=\mu_1$$\mathrm E[\hat{\mu_2}]=\mu_2$

Chciałbym oszacować podstawie dostępnych szacunków. Najwyraźniej naiwny estymator jest tendencyjnie niższy niż $\mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$

$$\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$

Załóżmy, że mam pod ręką macierz kowariancji odpowiednich estymatorów . Czy można uzyskać obiektywne (lub mniej stronnicze) oszacowanie minimum przy użyciu podanych oszacowań i macierzy kowariancji?$\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma$

Nie mam jednoznacznej odpowiedzi na temat istnienia obiektywnego estymatora. Jednak pod względem błędu oszacowania oszacowanie jest z natury trudnym problemem.$\min(\mu_1, \dots, \mu_n)$

Na przykład niech i . Niech będzie wielkością docelową, a jest oszacowaniem . Jeśli użyjemy estymatora „naiwnego” gdzie , zatem błąd oszacowania jest ograniczony przez do stałej. (Zauważ, że błąd oszacowania dla każdego wynosi ). Oczywiście, jeśli$Y_1, \dots, Y_N \sim N(\mu, \sigma^2I)$$\mu = (\mu_1, \dots, \mu_n)$$\theta = \min_i \mu_i$$\hat{\theta}$$\theta$$\hat{\theta} = \min_i(\bar{Y}_i)$$\bar{Y_i} = \frac{1}{N}\sum_{j=1}^N Y_{i,j}$$L_2$

$$\mathbb{E}[\hat{\theta} - \theta]^2 \lessapprox \frac{\sigma^2\log n}{N}$$ $\mu_i$$\frac{\sigma^2}{N}$$\mu_i$są daleko od siebie i jest bardzo mała, błąd oszacowania należy zredukować do . Jednakże, w najgorszym przypadku, nie ma szacunek działa lepiej niż naiwnego estymatora. Możesz dokładnie pokazać, że gdzie infimum przejmuje wszystkie możliwe estiamte na podstawie próbki a supremum przejmuje wszystkie możliwe konfiguracje .$\sigma$$\frac{\sigma^2}{N}$$\theta$ $$\inf_{\hat{\theta}} \sup_{\mu_1, \dots,\mu_n} \mathbb{E}[\hat{\theta} - \theta]^2 \gtrapprox \frac{\sigma^2\log n}{N}$$ $\theta$$Y_1,\dots, Y_N$$\mu_i$

Dlatego naiwny estymator jest minimalny od optymalnego do stałego i nie ma lepszego oszacowania w tym sensie.$\theta$

EDYCJA: Poniższe odpowiedzi odpowiadają na inne pytanie niż zadane - jest tak sformułowane, jakby był uważany za losowy, ale nie działa, gdy jest uważany za stały, co prawdopodobnie miało na myśli OP. Jeśli jest naprawione, nie mam lepszej odpowiedzi niż$\mu$$\mu$$\mu$$\min(\hat\mu_1,...,\hat\mu_n)$

---

Jeśli weźmiemy pod uwagę tylko szacunki średniej i kowariancji, możemy traktować jako pojedynczą próbkę z wielowymiarowego rozkładu normalnego. Prostym sposobem uzyskania oszacowania minimum jest następnie narysowanie dużej liczby próbek z , obliczenie minimum każdej próbki, a następnie wzięcie średniej z tych minimów.$(\mu_1, ..., \mu_n)$$MVN(\hat{\mu}, \Sigma)$

Powyższą procedurę i jej ograniczenia można zrozumieć w kategoriach bayesowskich - biorąc pod uwagę zapis z Wikipedii na MVN , jeśli jest znaną kowariancją estymatorów i mamy jedną obserwację, wspólny rozkład tylny to w którym i wynikać ze stanu, w których przed obserwując żadnych danych bierzemy przed ). Ponieważ prawdopodobnie nie chcesz stawiać priorów na , możemy przyjąć limit jako , co powoduje płaskie wcześniejsze, a tylne staje się$\Sigma$$\mu \sim MVN(\frac{\hat{\mu} + m \lambda_0}{1 + m}, \frac{1}{n+m} \Sigma)$$\lambda_0$$m$$\mu \sim MVN(\lambda_0, m^{-1} \Sigma$$\mu$$m \rightarrow 0$$\mu \sim MVN(\hat{\mu}, \Sigma)$. Jednak biorąc pod uwagę płaskie wcześniejsze, domyślnie przyjmujemy założenie, że elementy różnią (jeśli wszystkie liczby rzeczywiste są jednakowo prawdopodobne, uzyskanie podobnych wartości jest bardzo mało prawdopodobne).$\mu$

A szybkie symulacji pokazuje, że oszacowanie tej procedury nieco przeszacowanie , gdy elementy znacznie się różnią oraz docenia , gdy elementy są do siebie podobne. Można argumentować, że bez wcześniejszej wiedzy jest to prawidłowe zachowanie. Jeśli zechcesz podać przynajmniej niektóre wcześniejsze informacje (np. ), wyniki mogą stać się nieco lepsze dla twojego przypadku użycia.$min(\mu)$$\mu$$min(\mu)$$m = 0.1$

Jeśli chcesz założyć więcej struktur, możesz być w stanie wybrać lepszą dystrybucję niż normalna wielowarstwowa. Również sensowne może być użycie Stan lub innego próbnika MCMC w celu dopasowania szacunków w pierwszej kolejności. zestaw próbek które odzwierciedlają niepewność samych estymatorów, w tym ich strukturę kowariancji (być może bogatszą niż to, co może zapewnić MVN). Jeszcze raz możesz obliczyć minimum dla każdej próbki, aby uzyskać rozkład tylny w stosunku do minimów i wziąć średnią tego rozkładu, jeśli potrzebujesz oszacowania punktowego.$\mu$$(\mu_1, ..., \mu_n)$