Solidny estymator MCMC marginalnego prawdopodobieństwa?

9

Próbuję obliczyć krańcowe prawdopodobieństwo modelu statystycznego metodami Monte Carlo:

fa (x) = \int fa (x ∣ θ) π (θ) re θ

$f(x) = \int f(x\mid\theta) \pi(\theta)\, d\theta$

Prawdopodobieństwo jest dobrze zachowane - gładkie, wklęsłe - ale wysokie. Próbowałem ważnego próbkowania, ale wyniki są niepewne i zależą w dużej mierze od propozycji, z której korzystam. Przez chwilę zastanawiałem się nad zrobieniem Hamiltonian Monte Carlo w celu obliczenia próbek tylnych przy założeniu, że wcześniej był jednolity $\theta$ i biorąc średnią harmoniczną, dopóki nie zobaczyłem tego . Wyciągnięte wnioski, średnia harmoniczna może mieć nieskończoną wariancję. Czy istnieje alternatywny estymator MCMC, który jest prawie tak prosty, ale ma dobrze zachowaną wariancję?

monte-carlo likelihood marginal

— David Pfau
źródło

Można również rozważyć podstawowe próbkowanie Monte Carlo z wcześniejszego.

f (x) = E_{π (θ)} (f (x | θ))

$f(x)=E_{\pi(\theta)}(f(x|\theta))$

— probabilityislogic

1

To jedno z możliwych rozwiązań. W takim przypadku pamiętaj, że niewłaściwe priory nie są już dozwolone, a priory o bardzo szerokim wsparciu prawdopodobnie utrudnią zbliżenie Monte Carlo.

— Zen

1

Pełna książka na ten temat to Chen, Shao i Ibrahim (2001) . Możesz także wyszukiwać słowa kluczowe, takie jak próbkowanie zagnieżdżone, próbkowanie mostkowe, próbkowanie obronne, filtry cząstek, Savage-Dickey.

— Xi'an

8

Co powiesz na próbkowanie o wyższym znaczeniu ? Ma znacznie mniejszą wariancję niż pobieranie próbek o regularnym znaczeniu. Widziałem, że nazywa się to „złotym standardem” i nie jest dużo trudniejsze do wdrożenia niż „normalne” ważenie próbek. Jest wolniejszy w tym sensie, że musisz wykonać kilka ruchów MCMC dla każdej próbki, ale każda próbka ma zazwyczaj bardzo wysoką jakość, więc nie potrzebujesz ich tak wielu, zanim twoje szacunki się ustabilizują.

Inną ważną alternatywą jest próbkowanie sekwencyjne. Wydaje mi się, że implementacja jest dość prosta, ale wymaga pewnej znajomości sekwencyjnego Monte Carlo (filtrowanie cząstek AKA), którego mi brakuje.

Powodzenia!

Zredagowano, aby dodać : Wygląda na to, że post na blogu Radford Neal, do którego link prowadziłeś, również zaleca próbkowanie Annealed Ważność. Daj nam znać, czy to działa dobrze dla Ciebie.

— David J. Harris
źródło

2

Może to pomóc rzucić nieco światła na obliczenia rozkładu krańcowego. Poleciłbym również użyć metody wykorzystującej moce boczne, wprowadzone przez Friela i Pettitt . To podejście wydaje się dość obiecujące, choć ma pewne ograniczenia. Czy możesz aproksymować Laplace'a rozkładem bocznym za pomocą rozkładu normalnego: jeśli histogram z MCMC wygląda symetrycznie i normalnie, to może to być całkiem dobre przybliżenie.

— Tomas
źródło