Czy dla REML istnieje interpretacja bayesowska?

Czy dostępna jest bayesowska interpretacja REML? Według mojej intuicji, REML ma silne podobieństwo do tak zwanych empirycznych procedur estymacji Bayesa i zastanawiam się, czy wykazano jakąś asymptotyczną równoważność (powiedzmy, w ramach odpowiedniej klasy priorytetów). Zarówno empiryczne Bayesa, jak i REML wydają się na przykład „kompromitowanym” podejściem estymacyjnym podejmowanym na przykład w obliczu uciążliwych parametrów .

Głównie to, czego szukam w tym pytaniu, to wgląd na wysokim szczeblu, który tego rodzaju argumenty zwykle dają. Oczywiście, jeżeli z jakiegoś powodu nie można z powodzeniem zastosować argumentu tego rodzaju dla REML, wyjaśnienie, dlaczego tak jest, również zapewni pożądany wgląd!

bayesian asymptotics reml

— David C. Norris
źródło

Ten artykuł wydaje się być istotny: Foulley J. (1993). Prosty argument pokazujący, jak uzyskać ograniczone maksymalne prawdopodobieństwo. J. Dairy Sci. 76, 2320–2324. 10,3168 / jds.S0022-0302 (93) 77569-4 sciencedirect.com/science/article/pii/...

— DJW

Interpretacje bayesowskie istnieją tylko w ramach analizy bayesowskiej, dla estymatorów związanych z rozkładem a posteriori. Stąd jedynym sposobem, aby estymatorowi REML można było nadać interpretację bayesowską (tj. Interpretację jako estymator wzięty z tyłu), to jeśli weźmiemy pod uwagę ograniczone prawdopodobieństwo logarytmiczne w analizie REML jako logarytmicznie tylną w odpowiednim Analiza Bayesa; w tym przypadku estymator REML byłby estymatorem MAP z teorii bayesowskiej, z odpowiadającą mu interpretacją bayesowską.

$\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$ $\ell_{\text{RE}}(\theta)$ $\theta$ $\nu$ $\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

\begin{aligned} π (θ | x) & \propto \int L_{x} (θ, ν) π (θ, ν) d ν \\ \propto \int \exp (ℓ_{x} (θ, ν)) \exp (- ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{x} (θ, ν) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{*} (θ, ν) + ℓ_{RE} (θ) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{RE} (θ)) d ν \\ = \int L_{RE} (θ) d ν \\ \propto L_{RE} (θ) . \end{aligned}

$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$

To daje nam:

{\hat{θ}}_{MAP} = \arg max_{θ} π (θ | x) = \arg max_{θ} L_{RE} (θ) = {\hat{θ}}_{REML} .

$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$

Ten wynik pozwala nam interpretować estymator REML jako estymator MAP, więc poprawną interpretacją bayesowską estymatora REML jest to, że jest to estymator, który maksymalizuje gęstość a posteriori zgodnie z powyższym uprzednim .

Po zilustrowaniu metody nadania estymatorowi REML interpretacji bayesowskiej zauważamy, że z tym podejściem wiążą się duże problemy. Jednym z problemów jest to, że uprzednia formacja jest tworzona przy użyciu komponentu wiarygodności dziennika , który zależy od danych. Dlatego „uprzedni” niezbędny do uzyskania tej interpretacji nie jest prawdziwym uprzednim, w sensie bycia funkcją, którą można utworzyć przed obejrzeniem danych. Innym problemem jest to, że przejęcie często jest niewłaściwe (tzn. Nie integruje się z jednym) i może faktycznie wzrosnąć, ponieważ wartości parametrów stają się ekstremalne. (Poniżej pokażemy przykład tego.) $\ell_*(\theta, \nu)$

Na podstawie tych problemów można argumentować, że estymator REML nie ma rozsądnej interpretacji bayesowskiej . Alternatywnie można argumentować, że estymator REML nadal utrzymuje powyższą interpretację bayesowską, będąc maksymalnie estymatorem a posteriori pod „uprzednim”, który musi przypadkowo zrównać się z obserwowanymi danymi w określonej formie i może być wyjątkowo niewłaściwy.

Ilustracja z normalnymi danymi: Klasyczny przykład oszacowania REML dotyczy przypadku normalnych danych gdzie interesuje Cię precyzja a średnia jest uciążliwym parametrem. W tym przypadku masz funkcję log-prawdopodobieństwo: $x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$ $\theta$ $\nu$

ℓ_{x} (ν, θ) = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} .

$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$

W REML podzieliliśmy to prawdopodobieństwo dziennika na dwa składniki:

\begin{aligned} ℓ_{*} (ν, θ) & = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} \\ ℓ_{RE} (θ) & = - \frac{n - 1}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} . \end{aligned}

$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$

Otrzymujemy estymator REML dla parametru dokładności, maksymalizując resztkowe prawdopodobieństwo, co daje obiektywny estymator dla wariancji:

\frac{1}{{\hat{θ}}_{REML}} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} .

$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$

W takim przypadku estymator REML będzie odpowiadał estymatorowi MAP dla „wcześniejszej” gęstości:

π (θ) \propto θ^{n / 2} \exp (\frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2}) .

$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$

Jak widać, to „wcześniejsze” tak naprawdę zależy od obserwowanych wartości danych, więc nie można go właściwie uformować przed obejrzeniem danych. Co więcej, widzimy, że jest to wyraźnie „niewłaściwa” wcześniejsza zasada, która kładzie coraz większy nacisk na ekstremalne wartości i . (W rzeczywistości ten przeor jest dość szalony.) Jeśli przez „zbieg okoliczności” utworzysz przeora, który okazał się odpowiadać temu wynikowi, to estymator REML byłby estymatorem MAP pod tym przełożeniem, a zatem miałby interpretację bayesowską jako estymator, który maksymalizuje tylną pod tym uprzednim. $\theta$ $\nu$

— Ben - Przywróć Monikę
źródło

Cóż za niezwykle jasna odpowiedź! W rezultacie rozumiem REML znacznie lepiej, co w dużej mierze było moim głównym celem. Wydaje się, że twoje podejście do otwarcia argumentu polegało głównie na dokonaniu identyfikacji, a następnie „rozwiązaniu problemu” w stosunku do przeora. Następnie przystępujesz do niszczenia tego przeora, co wydaje mi się krytyką (z perspektywy Bayesa) skierowaną przeciwko REML. Pięknie zrobione!

— David C. Norris,

Tak, zastosowałem tę metodę. Przez analogię zwykle podajemy MLE interpretację bayesowską tą samą metodą --- tj. Przez wykrycie, że MLE jest MAP pod jednolitym uprzednim. Ogólnie rzecz biorąc, gdy chcemy znaleźć analog Bayesa do klasycznego estymatora, który powstaje w wyniku maksymalizacji jakiejś funkcji, po prostu ustawiamy tę funkcję na tylną, a następnie rozwiązujemy wcześniej. Jeśli daje to rozsądne wcześniejsze, mamy dobrą interpretację bayesowską; jeśli przeor jest szalony (jak w przypadku REML), to mamy dobry argument, że nie ma dobrej interpretacji bayesowskiej.

— Ben - Przywróć Monikę