Czynniki Bayesa z niewłaściwymi priory

Mam pytanie dotyczące porównania modeli z wykorzystaniem czynników Bayesa. W wielu przypadkach statystycy są zainteresowani zastosowaniem podejścia bayesowskiego z niewłaściwymi priory (na przykład niektóre priory Jeffreysa i referencyjne priory).

Moje pytanie brzmi: w tych przypadkach, gdy tylny rozkład parametrów modelu jest dobrze zdefiniowany, czy prawidłowe jest porównywanie modeli przy użyciu współczynników Bayesa przy użyciu niewłaściwych priorytetów?

Jako prosty przykład rozważ porównanie modelu normalnego z modelem logistycznym z priory Jeffreysa.

bayesian model-selection prior

— Jeffrey
źródło

Niewłaściwy uprzedni odgrywa rolę „nieinformacyjnego uprzedniego”. Jeśli jesteś w perspektywie „bez wcześniejszego przekonania”, to oczywiście nie możesz przypisać wcześniejszego prawdopodobieństwa do modelu. Istnieje jednak kilka artykułów Bergera i innych autorów na temat pojęcia „wewnętrznych czynników Bayesa”; to brzmi jak czynnik Bayesa z nieinformacyjnymi priory, ale nie mogę powiedzieć więcej, ponieważ nigdy nie czytałem tych artykułów. Prawdopodobnie istnieją również inne metody „obiektywnego wyboru modelu Bayesa” (wpisanie tych terminów w Google daje kilka artykułów autorstwa Bergera).

— Stéphane Laurent,

@ StéphaneLaurent Interpretacja wcześniejszego parametru różni się od wcześniejszego prawdopodobieństwa modelu. Można to zobaczyć z ogólnego wyrażenia dla czynnika Bayesa. Możesz także przypisać modelom jednolite priory, niewłaściwe przed parametrami i zobaczyć, co dane mówią a posteriori .

— Jeffrey,

Polecam lekturę Kryteria wyboru modelu Bayesa z aplikacją do wyboru zmiennych (AoS, 2012), w szczególności lemat 1. Zasadniczo, niepoprawne priorytety nie mogą być użyte do nietypowych parametrów.

Nie. Chociaż niewłaściwe priory mogą w pewnych okolicznościach być odpowiednie do oszacowania parametrów (ze względu na twierdzenie Bernsteina – von Misesa ), są one dużym „nie” dla porównania modeli, ze względu na tak zwany paradoks marginalizacji .

Problem, jak sugeruje nazwa, polega na tym, że rozkład krańcowy niewłaściwego rozkładu nie jest dobrze zdefiniowany. Biorąc pod uwagę prawdopodobieństwo i wcześniejsze : współczynnik Bayesa wymaga obliczenia marginalnego prawdopodobieństwa : $p_1(x \mid \theta)$ $p_1(\theta)$

p_{1} (x) = \int_{Θ} p_{1} (x ∣ θ) p_{1} (θ) d θ .

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

Jeśli uważasz, że niewłaściwe wcześniejsze było znane tylko do proporcjonalności (np. ), problem polega na tym, że zostanie pomnożony przez nieznaną stałą. Współczynnik Bayesa oblicza stosunek czegoś o nieznanej stałej. $p_1(\theta) \propto 1$ $p_1(x)$

Niektórzy autorzy, zwłaszcza ET Jaynes, próbują obejść ten problem, definiując niewłaściwe priory jako granicę sekwencji prawidłowych priorów: problem polega na tym, że mogą istnieć dwie różne sekwencje ograniczające, które dają różne odpowiedzi.

— Simon Byrne
źródło

Dziękuję za Twoją odpowiedź. Kwestii stałych proporcjonalności można uniknąć, stosując to samo niewłaściwe wcześniej w stosunku do wspólnych parametrów, takich jak parametry lokalizacji i skali, jak wspomniano w The Bayesian Choice str. 349. Jeśli dobrze rozumiem, paradoks marginalizacji dotyczy tylko priorów z pewna struktura.

— Jeffrey,

Problem polegać będzie na tym, że dominować będą nierealistyczne przypadki: jeśli masz mundur przed parametrem lokalizacji, będziesz umieszczał 100-krotność ciężaru w przedziale [100,200], tak jak w przypadku [0,1] (co może wydawać się śmieszne niektóre okoliczności).

— Simon Byrne,

Chodzi o to, że niewłaściwych priorów nie można interpretować w kategoriach probabilistycznych. Nie ma takiej wagi, biorąc pod uwagę, że probabilistyczna interpretacja przeora zniknęła, ponieważ jest niewłaściwa.

— Jeffrey,

Nie jest to probabilistyczne, ale nadal jest miarą, więc możesz dokonywać względnych porównań (tj. Istnieje 100-krotność „masy” w przedziale [100,200] jak w przypadku [0,1]).

— Simon Byrne,

π (μ, σ) \propto σ^{- 1}

$\pi(\mu,\sigma)\propto \sigma^{-1}$