Czy właściwe wcześniejsze i potęgowane prawdopodobieństwo może prowadzić do niewłaściwej tylnej choroby?

(To pytanie jest inspirowana przez tego komentarza z Xi'an ).

Dobrze wiadomo, że jeśli poprzednia dystrybucja jest właściwa, a prawdopodobieństwo jest dobrze określone, to rozkład tylny jest poprawne prawie na pewno. $\pi(\theta)$ $L(\theta | x)$ $\pi(\theta|x)\propto \pi(\theta) L(\theta|x)$

W niektórych przypadkach używamy zamiast tego temperowanego lub potęgowanego prawdopodobieństwa, prowadzącego do pseudo-tylnej

\tilde{π} (θ | x) \propto π (θ) L (θ | x)^{α}

$\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha$ dla niektórych (na przykład może to mieć zalety obliczeniowe).

α > 0

$\alpha>0$

Czy w tym otoczeniu możliwe jest posiadanie właściwego przedniego, ale niewłaściwego pseudo-tylnego?

bayesian prior posterior

— Robin Ryder
źródło

Właściwie kilka minut później uznałbym to za mało prawdopodobne, ponieważ rozbieżność wcześniejszego iloczynu x prawdopodobieństwa jest zmniejszona, gdy weźmiemy pod uwagę iloczyn wcześniejszego iloczynu x ^ ^… Każdy rybitwa zmierzający do nieskończoności idzie tam wolniej! A terminy wolniej zerowane są kontrolowane przez właściwego przeora. Stawiam więc, że jest to niemożliwe. (ostrzeżenie: wiadomo, że się mylę!)

— Xi'an,

Być może przydatne w poszukiwaniu kontrprzykładu, gdy : nierówność Markowa mówi nam, że Jeśli więc możesz znaleźć przypadek, w którym ma ogony wielomianowe, możesz prawdopodobnie skonstruować niewłaściwy pseudo-tylny.

α > 1

$\alpha > 1$

E_{θ \sim π} [L (x | θ)^{α}] ⩾ t^{α} P_{θ \sim π} (L (x | θ) > t) ⟹ E_{θ \sim π} [L (x | θ)^{α}] ⩾ sup_{t > 0} t^{α} P_{θ \sim π} (L (x | θ) > t)

$\mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t) \\ \implies \mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant \sup_{t > 0} t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t)$

L (x | θ)

$L(x| \theta)$

— πr8

Czy ten argument działałby również dla ? Czy istnieje również sposób na udowodnienie, że skonstruowane w ten sposób prawdopodobieństwo byłoby właściwe?

α < 1

$\alpha < 1$

— InfProbSciX

Właściwie dla , ponieważ wiemy, że , supremum na RHS jest zawsze skończone, a dla , jeden używa argumentu Jensena, aby dokonać tego samego wniosku. Argument ten pod tym względem zawodzi. Mała uwaga, że ten argument wymaga nieograniczonego prawdopodobieństwa aby odnieść sukces, tj. dla wszystkich .

α = 1

$\alpha =1$

E_{π} [L (x | θ)] < \infty

$\mathbf{E}_{\pi} [L (x | \theta)] < \infty$

α < 1

$\alpha < 1$

L

$L$

P_{π} (L (x | θ) > t) > 0

$\mathbf{P}_\pi (L (x | \theta) > t) > 0$

t

$t$

— πr8

To prawda, że dla nie można zbudować jednego, dobry punkt! Muszę powiedzieć, że byłbym zafascynowany, widząc przykład nieograniczonego prawdopodobieństwa! Być może wersja beta późniejsza byłaby wynikiem nieograniczonego prawdopodobieństwa.

α = 1

$\alpha = 1$

— InfProbSciX

Odpowiedzi:

W przypadku być może jest to argument wskazujący, że niemożliwe jest zbudowanie takiego a posteriora? $\alpha \leq 1$

Chcielibyśmy dowiedzieć się, czy jest to możliwe dla . $\int \tilde \pi(\theta|x)d\theta = \infty$

W RHS:

\int π (θ) L^{α} (θ | x) d θ = E_{θ} (L^{α} (θ | x))

$\int \pi(\theta) L^{\alpha}(\theta|x) d\theta = E_{\theta}(L^{\alpha}(\theta|x))$

Jeśli , jest funkcją wklęsłą, więc według nierówności Jensena: $\alpha \leq 1$ $x^{\alpha}$

E_{θ} (L^{α} (θ | x)) \leq E_{θ}^{α} (L (θ | x)) = m (x)^{α} < \infty

$E_{\theta}(L^{\alpha}(\theta|x)) \leq E^{\alpha}_{\theta}(L(\theta|x)) = m(x)^\alpha < \infty$

... gdzie jak wskazał Xi'an, jest stałą normalizującą (dowód). $m(x)$

— InfProbSciX
źródło

Dzięki, dzięki. Podoba mi się, że używasz faktu, że dla tylny jest właściwy.

α = 1

$\alpha=1$

— Robin Ryder,

Można użyć wyniku w odpowiedzi @ InfProbSciX, aby ogólnie udowodnić wynik. Przepisz jako Jeśli , mamy powyżej przypadek nierówności Jensena, ponieważ wiemy, że można normalizować. Podobnie, jeśli , możemy napisać używając , znowu wpadając w ten sam przypadek, ponieważ wiemy, że można normalizować. Teraz można użyć (silnej) indukcji, aby ogólnie pokazać przypadek. $L(\theta\mid x)^\alpha\pi(\theta)$

L (θ ∣ x)^{α - 1} L (θ ∣ x) π (θ) .

$L(\theta\mid x)^{\alpha-1}L(\theta\mid x)\pi(\theta).$

1 \leq α \leq 2

$1 \leq \alpha \leq 2$

L (x | θ) π (θ)

$L(x|\theta)\pi(\theta)$

2 \leq α \leq 3

$2 \leq \alpha \leq 3$

L (x | θ)^{α - p} L (x | θ)^{p} π (θ),

$L(x|\theta)^{\alpha-p} L(x|\theta)^p\pi(\theta),$

1 \leq p \leq 2

$1 \leq p \leq 2$

L (x | θ)^{p} π (θ)

$L(x|\theta)^{p}\pi(\theta)$

Stare komentarze

Nie jestem pewien, czy jest to bardzo przydatne, ale ponieważ nie mogę komentować, pozostawię to w odpowiedzi. Oprócz doskonałej uwagi @ InfProbSciX na temat , jeśli przyjmie się dalsze założenie, że , to nie jest możliwe posiadanie właściwego wcześniejszego, ale niewłaściwego pseudo-tylnego dla . Na przykład, jeśli wiemy, że istnieje drugi ( -ty) moment , wiemy, że jest on w ( ), a zatem pseudo-tylny będzie właściwy dla . Sekcja 1 w tych uwagach $\alpha \leq 1$ $L(\theta \mid x) \in L^p$ $1 < \alpha \leq p$ $p$ $L(\theta \mid x)$ $L^2$ $L^p$ $0 \leq \alpha \leq 2$ idzie nieco bardziej szczegółowo, ale niestety nie jest jasne, jak szeroka jest klasa powiedzmy pdfs. Przepraszam, jeśli mówię tu poza kolejnością, naprawdę chciałem to zostawić jako komentarz. $L^{10}$

— Luiz Max Carvalho
źródło

Masz rację, jeśli funkcja prawdopodobieństwa znajduje się w przestrzeni - tj. Przestrzeń wr miot indukowany przez wcześniejszy, to posterior będzie odpowiedni dla . Zgaduję tutaj całkowicie, ale myślę, że przestrzeń ta obejmowałaby najbardziej prawdopodobne prawdopodobieństwa - myślę, że przed laty mogłem przeczytać dowód, który mówi, że jeśli jest liczbą całkowitą Riemanna, to jego pozytywne moce również są. jest jednak całkowitą. Twierdzenie 1.26 w celach informacyjnych

L (θ | x)

$L(\theta|x)$

L^{p} (π_{θ})

$L^p(\bf {\pi_\theta})$

L^{p}

$L^p$

1 \leq α \leq p

$1 \leq \alpha \leq p$

f

$f$

f^{n}, n \in Z^{+}

$f^n, n \in \mathbb Z^+$

— InfProbSciX

@InfProbSciX, myślę, że w cieniu może kryć się kompletny dowód. Biorę z twojej odpowiedzi, że może być negatywna. Jeśli jest to poprawne, możemy pokazać, że dla dowolnego prawdopodobieństwo pseudo-prawdopodobieństwa będzie całkowalne, ponieważ odwrotności funkcji całkowitych są całkowalne. A jeśli prawdopodobieństwo jest całkowalne, twierdzę, że a posterior będzie całkowalny, ponieważ wcześniejszy jest ograniczony, a iloczyn funkcji całkowitej i ograniczonej jest całkowalny ( math.stackexchange.com/a/56008/271610 ). Powiedz mi co myślisz.

α

$\alpha$

p > 1

$p > 1$

— Luiz Max Carvalho,

Myślę, że można zignorować przypadek, w którym , ponieważ pytanie wyraźnie zakłada inaczej. Należy wykazać całkowalność dla każdego ogólnego przypadku. Nie jestem też pewien, czy uprzednio jest zawsze ograniczone, na przykład gęstość nie byłaby.

α < 0

$\alpha < 0$

L^{α}

$L^{\alpha}$

B e t a (0.5, 0.5)

$Beta(0.5, 0.5)$

— InfProbSciX

@InfProbSciX, miałem na myśli to, że nawet jeśli nie jest objęte pytaniem, jeśli twój dowód dotyczy również tego warunku, to moglibyśmy wykazać całkowalność dla , wykorzystując fakt, że jeśli jest całkowalne, to tak wynosi . Jak mówisz, wszystko to jest zerowe, jeśli przeor jest nieograniczony. Zamiast tego możemy spróbować ograniczyć prawdopodobieństwo i wydaje mi się, że wszelkie prawdopodobieństwo, które można by zastosować w MLE, musiałoby być ograniczone lub silnie wklęsłe ( en.wikipedia.org/wiki/Maximum_likelihood_estimation#Properties ), z których oba można wykorzystać do zbudować ogólny dowód. jakieś pomysły?

α < 0

$\alpha < 0$

α > 1

$\alpha > 1$

f

$f$

1 / f

$1/f$

— Luiz Max Carvalho,

Przepraszam, tęskniłem za tym, tak, wygląda na to, że podjąłby ciekawą próbę!

— InfProbSciX