Co to jest „ograniczone maksymalne prawdopodobieństwo” i kiedy należy go stosować?

73

W streszczeniu tego artykułu przeczytałem, że:

„Procedura maksymalnego prawdopodobieństwa (ML) Hartley aud Rao zostaje zmodyfikowana poprzez dostosowanie transformacji z Patterson i Thompson, która dzieli prawdopodobieństwo na normalność na dwie części, z których jedna jest wolna od ustalonych efektów. Maksymalizacja tej części daje tak zwane ograniczone maksymalne prawdopodobieństwo (REML) estymatory. ”

Przeczytałem również w streszczeniu tego artykułu, że REML:

„uwzględnia utratę stopni swobody wynikającą z oszacowania ustalonych efektów”.

Niestety nie mam dostępu do pełnego tekstu tych artykułów (i prawdopodobnie nie zrozumiałbym, gdybym to zrobił).

Jakie są zalety REML vs. ML? W jakich okolicznościach REML może być lepszy niż ML (lub odwrotnie) przy dopasowywaniu modelu efektów mieszanych? Podaj wyjaśnienie odpowiednie dla kogoś, kto ma wykształcenie matematyczne w szkole średniej (lub tuż po nim)!

mixed-model maximum-likelihood reml

— Joe King
źródło

patrz stats.stackexchange.com/questions/99895/…

62

Zgodnie z odpowiedzią ocram ML jest tendencyjny do szacowania składników wariancji. Ale zauważ, że odchylenie zmniejsza się w przypadku większych próbek. Stąd w odpowiedzi na pytania „ ... jakie są zalety REML vs ML? W jakich okolicznościach REML może być lepszy niż ML (lub odwrotnie) przy dopasowywaniu modelu efektów mieszanych? ”, Dla małych próbek preferowane jest REML. Jednak testy współczynnika wiarygodności dla REML wymagają dokładnie tej samej specyfikacji efektów stałych w obu modelach. Tak więc, aby porównać modele z różnymi stałymi efektami (wspólny scenariusz) z testem LR, należy użyć ML.

REML bierze pod uwagę liczbę parametrów (efektów ustalonych), tracąc 1 stopień swobody dla każdego. Osiąga się to poprzez zastosowanie ML do reszt najmniejszych kwadratów, które są niezależne od ustalonych efektów.

— Robert Long
źródło

8

Rzeczywiście, estymator REML składnika wariancji jest zwykle (w przybliżeniu) bezstronny, podczas gdy estymator ML jest negatywnie tendencyjny. Jednak estymator ML ma zwykle mniejszy błąd średniej kwadratowej (MSE) niż estymator REML. Tak więc, jeśli chcesz mieć rację średnio, skorzystaj z REML, ale płacisz za to z większą zmiennością szacunków. Jeśli chcesz być bliżej średniej wartości, wybierz ML, ale płacisz za to z ujemnym nastawieniem.

— Wolfgang

3

n

$n$

(n - 1)

$(n-1)$

„ML jest tendencyjny przy szacowaniu składników wariancji”. Czy oznacza to wariancję efektów losowych, czy też standardowe błędy współczynników efektu stałego?

— skan

54

Oto szybka odpowiedź ...

Standardowy przykład ilustrujący

$y = (y_1, \dotsc, y_n)$ $\mathrm{N}(\mu, \sigma^2$ $\mu$ $\sigma^2$ $\sigma^2$ $\sigma^2$

{\hat{σ}}_{ML}^{2)} = \frac{1}{n} \sum_{ja = 1}^{n} (y_{ja} - \bar{y})^{2)}

$\hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2$

\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}

$\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$

μ

$\mu$

mi ({\hat{σ}}_{ML}^{2)}) = \frac{n - 1}{n} σ^{2)} .

$\mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2.$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

\frac{1}{n} \sum_{i = 1}^{n} {((y_{i} - μ) + (μ - \bar{y}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

μ

$\mu$

σ^{2}

$\sigma^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ $\bar{x}$

σ^{2}

$\sigma^2$

μ

$\mu$

$y$ $Ky$ $K$ $\mathrm{E}[Ky] = 0$

Oszacowanie REML jest często stosowane w bardziej skomplikowanym kontekście modeli mieszanych. Każda książka na temat modeli mieszanych zawiera sekcję wyjaśniającą oszacowanie REML bardziej szczegółowo.

Edytować

@Joe King: Oto jedna z moich ulubionych książek na temat modeli mieszanych, która jest w pełni dostępna online. Sekcja 2.4.2 dotyczy szacowania składników wariancji. Życzymy miłej lektury :-)

— ocram
źródło

Dziękuję - to jest pomocne - chociaż nie mam łatwego dostępu do książek na temat modeli mieszanych. Czy możesz odnieść swoją odpowiedź do 2 cytatów w moim poście?

— Joe King

Zastanawiam się, jak wielowymiarowy Gaussian zmienia historię? stats.stackexchange.com/questions/167494/...

— Sibbs Gambling

9

Metoda ML nie docenia parametrów wariancji, ponieważ zakłada, że ustalone parametry są znane bez niepewności przy szacowaniu parametrów wariancji.

Metoda REML wykorzystuje sztuczkę matematyczną do uniezależnienia oszacowań parametrów wariancji od oszacowań dla ustalonych efektów. REML działa najpierw poprzez uzyskanie resztek regresji dla obserwacji modelowanych przez część modelu z ustalonymi efektami, ignorując w tym momencie składniki wariancji.

Szacunki ML są obiektywne dla efektów stałych, ale tendencyjne dla efektów losowych, podczas gdy szacunki REML są tendencyjne dla efektów stałych i obiektywne dla efektów losowych.

— skan
źródło