James-Stein Estimator z nierównymi wariancjami

Każde stwierdzenie, które znajduję w estymatorze Jamesa-Steina zakłada, że oszacowane zmienne losowe mają tę samą wariancję (i jednostkę).

Ale wszystkie te przykłady wspominają również, że estymator JS może być używany do szacowania ilości, nie mając ze sobą nic wspólnego. Przykład wikipedia jest prędkością światła, spożycie herbaty w Tajwanie i wagi świń w Montanie. Ale przypuszczalnie twoje pomiary tych trzech wielkości miałyby różne „prawdziwe” wariancje. Czy to stanowi problem?

Wiąże się to z większym problemem koncepcyjnym, którego nie rozumiem, związanym z tym pytaniem: estymator Jamesa-Steina: W jaki sposób Efron i Morris obliczyli współczynnika kurczliwości dla swojego przykładu baseballu? $\sigma^2$ Obliczamy współczynnik skurczu w następujący sposób: $c$

do = 1 - \frac{(k - 3)) σ^{2)}}{\sum (y - \bar{y})^{2)}}

$c = 1 - \frac{(k-3) \sigma^2} {\sum (y - \bar{y})^2}$

Intuicyjnie sądzę, że termin jest w rzeczywistości - różny dla każdej szacowanej ilości. Ale dyskusja w tym pytaniu mówi tylko o wykorzystaniu połączonej wariancji ... $\sigma^2$ $\sigma^2_i$

Byłbym bardzo wdzięczny, gdyby ktoś mógł wyjaśnić to zamieszanie!

estimation shrinkage steins-phenomenon

— exp1orer
źródło

Jeśli wariancja to , możemy po prostu pomnożyć w lewo przez aby wrócić do problemu Jamesa-Steina. Jeśli jest nieznane, ale każda „obserwacja” w problemie jest średnią próbną obliczoną na podstawie obserwacji , możemy oszacować pomocą pewnego i mieć nadzieję, że otrzymamy również sytuację Jamesa-Steina, jeśli pomnożymy przez zamiast tego .

D = diag (σ_{1}^{2}, \dots, σ_{n}^{2})

$D = \mbox{diag}(\sigma_1^2, \ldots, \sigma_n^2)$

D^{- 1 / 2}

$D^{-1/2}$

D

$D$

m_{i}

$m_i$

D

$D$

\hat{D}

$\hat D$

{\hat{D}}^{- 1 / 2}

$\hat D^{-1/2}$

— facet

@guy: jest to rozsądna sugestia (+1), jednak spowoduje to taki sam współczynnik kurczenia dla wszystkich zmiennych, podczas gdy ktoś chciałby zmniejszać zmienne w różny sposób, w zależności od ich wariancji / niepewności. Zobacz odpowiedź, którą właśnie opublikowałem.

— ameba

@amoeba Sure; Nie sugerowałem, że mój estymator jest praktyczny, tylko że ilustruje, dlaczego ludzie mówią rzeczy OP wspomniane w jego drugim akapicie.

— facet

Odpowiedź na to pytanie została wyraźnie udzielona w klasycznej serii artykułów na temat estymatora Jamesa-Steina w kontekście Empirical Bayes napisanych w latach 70. przez Efrona i Morrisa. Mam na myśli głównie:

Efron i Morris, 1973, Reguła estymacji Stein'a i jej konkurenci - podejście empiryczne Bayesa
Efron i Morris, 1975, Analiza danych z estymatorem Stein'a i jego uogólnienia
Efron i Morris, 1977, Paradoks Steina w statystyce

Artykuł z 1977 r. Jest nietechniczną ekspozycją, którą należy przeczytać. Tam przedstawiają przykład mrugnięcia bejsbolem (omówiony w wątku, do którego linkujesz); w tym przykładzie wariancje obserwacji rzeczywiście powinny być równe dla wszystkich zmiennych, a współczynnik skurczu $c$ jest stały.

Podają jednak kolejny przykład, który ocenia wskaźniki toksoplazmozy w wielu miastach w Salwadorze. W każdym mieście ankietowano inną liczbę osób, dlatego można myśleć o indywidualnych obserwacjach (wskaźnik toksoplazmozy w każdym mieście) o różnych wariancjach (im niższa liczba ankietowanych osób, tym wyższa wariancja). Intuicja jest z pewnością taka, że punkty danych o niskiej wariancji (niska niepewność) nie muszą być tak mocno skurczone, jak punkty danych o dużej wariancji (wysoka niepewność). Wynik ich analizy pokazano na poniższym rysunku, na którym rzeczywiście można to zaobserwować:

wprowadź opis zdjęcia tutaj

Te same dane i analizy przedstawiono również w dużo bardziej technicznym artykule z 1975 r., Na znacznie bardziej eleganckiej figurze (niestety nie pokazując poszczególnych odchyleń), patrz sekcja 3:

wprowadź opis zdjęcia tutaj

X_{ja} | θ_{ja} \sim N. (θ_{ja}, {re}_{ja}) θ_{ja} \sim N. (0, ZA)

$X_i|\theta_i \sim \mathcal N(\theta_i, D_i)\\ \theta_i \sim \mathcal N(0, A)$

A

$A$

D_{i} = 1

$D_i=1$

1 / (1 + A)

$1/(1+A)$

(k - 2) / \sum X_{j}^{2}

$(k-2)/\sum X_j ^2$

θ_{i}

$\theta_i$

{\hat{θ}}_{ja} = (1 - \frac{1}{1 + ZA}) X_{ja} = (1 - \frac{k - 2)}{\sum X_{jot}^{2)}}) X_{ja},

$\hat \theta_i = \left(1-\frac{1}{1+A}\right)X_i = \left(1-\frac{k-2}{\sum X_j^2}\right)X_i,$

$D_i \ne 1$

{\hat{θ}}_{ja} = (1 - \frac{{re}_{ja}}{{re}_{ja} + ZA}) X_{ja}

$\hat \theta_i = \left(1-\frac{D_i}{D_i+A}\right)X_i$

A

$A$

\hat{A}

$\hat A$

$D_j$ $\hat A_i$ $k$

Odpowiednią sekcją w artykule z 1973 r. Jest sekcja 8 i jest ona nieco trudniejsza do przeczytania. Co ciekawe, mają tam wyraźny komentarz do sugestii @guy w powyższych komentarzach:

$\tilde x_i = D_i^{-1/2} x_i, \tilde \theta_i = D_i^{-1/2} \theta_i$ $\tilde x_i \sim \mathcal N(\tilde \theta_i, 1)$ $\theta_i$
${\hat{θ}}_{ja} = (1 - \frac{k - 2)}{\sum [X_{jot}^{2)} / {re}_{jot}]}) X_{ja} .$ $\hat \theta_i = \left(1-\frac{k-2}{\sum [X_j^2 / D_j]}\right)X_i.$ $X_i$

$\hat A_i$

— ameba
źródło