Czy tylny bayesowski musi być odpowiednio rozmieszczony?

Wiem, że aurorzy nie muszą być poprawni, a funkcja prawdopodobieństwa również nie jest zintegrowana z 1. Ale czy tylny musi być odpowiednim rozkładem? Jakie są implikacje, jeśli tak jest / nie jest?

(Nieco zaskakujące jest czytanie poprzednich odpowiedzi, które koncentrują się na potencjalnej niestosowności a posteriori, gdy uprzednia jest właściwa, ponieważ, o ile mogę stwierdzić, pytanie brzmi, czy a posterior musi być właściwy ( tj. całkowalne do jednego), aby być właściwym (tj. akceptowalnym dla wnioskowania bayesowskiego) a posterior).

W statystykach bayesowskich rozkład tylny musi być rozkładem prawdopodobieństwa, z którego można wyprowadzić takie momenty jak średnia tylna i stwierdzenia prawdopodobieństwa, takie jak pokrycie wiarygodnego region, . Jeśli a posterior nie może zostać znormalizowanym do gęstości prawdopodobieństwa, a wnioskowanie bayesowskie po prostu nie może być przeprowadzone. W takich przypadkach tylne po prostu nie istnieje. P (π(θ | x)>κ$\mathbb{E}^\pi[h(\theta)|x]$∫ f ( x | θ $\mathbb{P}(\pi(\theta|x)>\kappa|x)$

$$\int f(x|\theta)\,\pi(\theta)\,\text{d}\theta = +\infty\,,\qquad (1)$$ $\pi(\theta|x)$

W rzeczywistości (1) musi zostać zachowane dla wszystkich w przestrzeni próbki, a nie tylko dla obserwowanego , w przeciwnym razie wybór wcześniejszego zależy od danych . Oznacza to, że nie można użyć takich jak wcześniejszy Haldane'a , na prawdopodobieństwie zmiennej dwumianowej lub ujemnej zmiennej dwumianowej , ponieważ tylna nie jest zdefiniowane dla x = 0 .$x$ $x$p $\pi(p)\propto \{1/p(1-p)\}$$p$$X$$x=0$

Znam jeden wyjątek, kiedy można rozważyć „niewłaściwe plakaty tylne”: można go znaleźć w „The Art of Data Augmentation” Davida van Dyka i Xiao-Li Menga. Niewłaściwa miara dotyczy tak zwanego parametru roboczego tak że obserwacja jest wytwarzana przez margines rozszerzonego rozkładu oraz van Dyk i Meng umieszczają niepoprawną wcześniejszą literę na tym roboczym parametrze w celu przyspieszenia symulacji (która pozostaje dobrze zdefiniowana jako gęstość prawdopodobieństwa) przez MCMC.f ( x | θ ) = ∫ T ( x sierpień ) = x$\alpha$ p ( α ) α π (

$$f(x|\theta)=\int_{T(x^\text{aug})=x} f(x^\text{aug}|\theta,\alpha)\,\text{d}x^\text{aug}$$ $p(\alpha)$$\alpha$$\pi(\theta|x)$

W innej perspektywie, nieco związanej z odpowiedzią eretmochelys , mianowicie w perspektywie bayesowskiej teorii decyzji , ustawienie, w którym występuje (1), może być nadal akceptowalne, jeśli doprowadzi do optymalnych decyzji. Mianowicie, jeśli jest funkcją straty oceniającą wpływ użycia decyzji , optymalną decyzję bayesowską pod wcześniejszym podaje i wszystko, co ważne, to to, że ta całka nie jest wszędzie (in ) nieskończony. To, czy (1) posiada, jest wtórne dla wyprowadzeniaδ π δ ⋆ ( x ) = $L(\delta,\theta)\ge 0$$\delta$$\pi$δ δ ⋆ ( x

$$\delta^\star(x)=\arg\min_\delta \int L(\delta,\theta) f(x|\theta)\,\pi(\theta)\,\text{d}\theta$$ $\delta$$\delta^\star(x)$, mimo że właściwości takie jak dopuszczalność są gwarantowane tylko wtedy, gdy obowiązuje (1).

Rozkład tylny nie musi być prawidłowy, nawet jeśli wcześniejszy jest właściwy. Załóżmy na przykład, że ma wcześniejszy współczynnik gamma o kształcie 0,25 (co jest poprawne), i modelujemy nasz układ odniesienia na podstawie rozkładu Gaussa ze średnią zero i wariancją . Załóżmy, że jest obserwowane jako zero. Zatem prawdopodobieństwo jest proporcjonalne do , co powoduje, że rozkład tylny dla niewłaściwy, ponieważ jest proporcjonalny do . Ten problem powstaje z powodu zwariowanej natury zmiennych ciągłych.x v x p ( x | v ) v - 0,5 v v - 1,25 e - $v$$x$$v$$x$$p(x|v)$$v^{-0.5}$$v$$v^{-1.25} e^{-v}$

Definiowanie zestawu my have Ostatnia całka będzie równa jeśli miara Lebesgue'a jest dodatnia. Jest to jednak niemożliwe, ponieważ ta całka daje prawdopodobieństwo (rzeczywista liczba od do ). Wynika stąd, że miara Lebesgue'a jest równa , i oczywiście wynika również z tego, żeP r ( X ∈ Dane pozorne ) = ∫

$$\text{Bogus Data} = \left\{ x:\int f(x\mid \theta)\,\pi(\theta)\,d\theta = \infty \right\} \, ,$$ ∞ Fałszywe danych 0 1 Fałszywe danych 0 P R ( X ∈ Fałszywe danych ) = $$\mathrm{Pr}\left(X\in\text{Bogus Data}\right) = \int_\text{Bogus Data} \int f(x\mid \theta)\,\pi(\theta)\,d\theta\,dx = \int_\text{Bogus Data} \infty\,dx \, .$$ $\infty$$\text{Bogus Data}$$0$$1$$\text{Bogus Data}$$0$$\mathrm{Pr}\left(X\in\text{Bogus Data}\right)=0$ .

Innymi słowy: wcześniejsze przewidywane prawdopodobieństwo tych wartości próbek, które powodują, że tylne niewłaściwe jest równe zero.

Morał tej historii: uważaj na zestawy zerowe, mogą gryźć, choćby to nie było prawdopodobne.

PS Jak zauważył prof. Robert w komentarzach, to rozumowanie wysadza w powietrze, jeśli wcześniejsze jest niewłaściwe.

Każda „dystrybucja” musi sumować (lub integrować) z 1. Mogę pomyśleć o kilku przykładach, w których można pracować z nie-znormalizowanymi dystrybucjami, ale czuję się nieswojo, nazywając cokolwiek, co marginalizuje do czegokolwiek oprócz 1, „dystrybucją”.

$x$$d$

$$\begin{align} \hat{x} &= \arg \max_x P_{X|D}(x|d) \\ &= \arg \max_x \frac{P_{D|X}(d|x) P_X(x)}{P_D(d)} \\ &= \arg \max_x {P_{D|X}(d|x) P_X(x)} \end{align}$$

$P_D$$x$$\hat{x}$$P_{D|X}(d|x) P_X(x)$

$n$$Beta(0,0)$