Kiedy powinienem się martwić paradoksem Jeffreysa-Lindleya w wyborze modelu Bayesa?

Rozważam dużą (ale skończoną) przestrzeń modeli o różnym stopniu złożoności, które eksploruję za pomocą RJMCMC . Wstęp na wektorze parametrów dla każdego modelu jest dość pouczający.

W jakich przypadkach (jeśli w ogóle) powinienem się martwić paradoksem Jeffreysa-Lindleya faworyzującym prostsze modele, gdy jeden z bardziej złożonych modeli byłby bardziej odpowiedni?
Czy są jakieś proste przykłady, które podkreślają problemy paradoksu w wyborze modelu Bayesa?

Przeczytałem kilka artykułów, a mianowicie blog Xi'ana i blog Andrew Gelmana , ale wciąż nie rozumiem problemu.

— Jeff
źródło

Myślę, że pytań jest zbyt wiele i są one zbyt różne, aby można było na nie skutecznie odpowiedzieć.

— jaradniemi

Dzięki za opinie, @jaradniemi, usunąłem pytanie „Czy procedura RJMCMC, która skutecznie zwraca prawdopodobieństwa modelu tylnego, faworyzuje te same modele, co DIC?”

— Jeff

Przepraszam, że jestem niejasny na moim blogu !

Uwaga: Podałem trochę podstaw na temat wyboru modelu Bayesa i paradoksu Jeffreysa-Lindleya w tej drugiej odpowiedzi z potwierdzeniem Cross.

Paradoks Jeffreysa-Lindleya jest związany z wyborem modelu Bayesa, ponieważ prawdopodobieństwo krańcowe staje się bez znaczenia, gdy jest miarą skończoną (tj. miarą o nieskończonej masie), a nie miarą prawdopodobieństwa. Powodem tej trudności jest to, że nieskończona masa sprawia, że i nierozróżnialne dla żadnej dodatniej stałej . W szczególności nie można stosować współczynnika Bayesa i nie należy go stosować, gdy jeden model jest wcześniej wyposażony w „płaski”.

m (x) = \int π (θ) f (x | θ) d θ

$m(x)=\int \pi(\theta) f(x|\theta)\,\text{d}\theta$

π

$\pi$

σ

$\sigma$

π

$\pi$

c π

$\mathfrak{c}\pi$

c

$\mathfrak{c}$

Oryginalny paradoks Jeffreysa-Lindleya wykorzystuje jako przykład rozkład normalny. Porównując modele i współczynnik Bayesa wynosi Jest dobrze zdefiniowane, gdy jest właściwym przeorem, ale jeśli weźmiesz normalny przeor on i pozwólmy przejść do nieskończoności, mianownik przechodzi do zera dla dowolnej wartości różnej od zera i dowolnej wartości . (Chyba że i

x \sim N (0, 1)

$x\sim\mathcal{N}(0,1)$

x \sim N (θ, 1)

$x\sim\mathcal{N}(\theta,1)$

B_{12} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{\int_{- \infty}^{+ \infty} \exp {- n ({\bar{x}}_{n} - θ)^{2} / 2} π (θ) d θ}

$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\pi(\theta)\,\text{d}\theta}$

π

$\pi$

N (0, τ^{2})

$\mathcal{N}(0,\tau^2)$

θ

$\theta$

τ

$\tau$

{\bar{x}}_{n}

$\bar{x}_n$

n

$n$

τ

$\tau$

n

$n$ są powiązane, ale to się komplikuje!) Jeśli zamiast tego użyjesz bezpośrednio gdzie jest koniecznie stałą, współczynnik Bayesa będzie stąd bezpośrednio zależy od .

π (θ) = c

$\pi(\theta)=\mathfrak{c}$

c

$\mathfrak{c}$

B_{12}

$\mathfrak{B}_{12}$

B_{12} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{c \int_{- \infty}^{+ \infty} \exp {- n ({\bar{x}}_{n} - θ)^{2} / 2} d θ} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{c \sqrt{2 π / n}}

$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\,\text{d}\theta}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\sqrt{2\pi/n}}$

c

$\mathfrak{c}$

Teraz, jeśli wasze przeory mają charakter informacyjny (a zatem i właściwy), nie ma powodu do wystąpienia paradoksu Jeffreysa-Lindleya. Przy wystarczającej liczbie obserwacji czynnik Bayesa konsekwentnie wybiera model, który wygenerował dane. (Lub ściślej model w kolekcji modeli rozważanych do wyboru modelu, który jest najbliższy „prawdziwemu” modelowi, który wygenerował dane.)

— Xi'an
źródło

Wielkie dzięki za bardzo szczegółową odpowiedź, Xi'an! Twój blog jest bardzo przejrzysty (wiele się z niego nauczyłem). Powoli rozumiałem ten konkretny problem!

— Jeff

W rzeczywistości mój blog działa z bardzo zmiennymi założeniami dotyczącymi tła i wymagań wstępnych, więc z pewnością nie jest to jasne dla wielu czytelników!

— Xi'an,