Próbkowanie Gibbsa w porównaniu z ogólnym MH-MCMC

20

Właśnie czytałem trochę na temat próbkowania Gibbsa i algorytmu Metropolis Hastings i mam kilka pytań.

Jak rozumiem, w przypadku próbkowania Gibbsa, jeśli mamy duży problem wielowymiarowy, próbkujemy z rozkładu warunkowego, tj. Próbkujemy jedną zmienną, utrzymując wszystkie pozostałe w stałym, podczas gdy w MH próbkujemy z pełnego wspólnego rozkładu.

Jedną rzeczą, o której mówi ten dokument, jest to, że proponowana próbka jest zawsze akceptowana w Próbkowaniu Gibbsa, tzn. Współczynnik akceptacji propozycji wynosi zawsze 1. Dla mnie wydaje się to dużą zaletą, ponieważ w przypadku dużych problemów wielowymiarowych wydaje się, że współczynnik odrzucania dla algorytmu MH staje się dość duży . Jeśli tak jest w rzeczywistości, jaki jest powód niestosowania Gibbs Sampler przez cały czas do generowania rozkładu tylnego?

— Luca
źródło

11

Dobrze skonstruowana wielowymiarowa propozycja MH może znacznie przewyższyć próbkowanie Gibbsa, nawet jeśli możliwe jest próbkowanie z warunków warunkowych (np. Normalna wielowymiarowa wielowymiarowa normalna, HMC pokonuje Gibbsa z szerokim marginesem, gdy zmienne są wysoce skorelowane). Wynika to z faktu, że próbkowanie Gibbsa nie pozwala na wspólną ewolucję zmiennych. Jest to trochę analogiczne do optymalizacji funkcji poprzez iteracyjną optymalizację poszczególnych argumentów - możesz zrobić to lepiej, jeśli zoptymalizujesz wrt wszystkie argumenty razem, a nie jeden po drugim, nawet jeśli łatwiej jest zrobić to drugie.

— facet

Metropolis-Hastings może próbkować przy użyciu propozycji warunkowych. Masz na myśli konkretny rodzaj MH?

— Glen_b

1

Dziękuję za komentarz. Nie, myślałem po prostu, dlaczego Gibbs Sampler nie jest używany częściej. przeoczył fakt, że formularz dystrybucji warunkowej musi być znany z góry w przypadku pobierania próbek Gibbs. Jak na moje obecne potrzeby, kombinacja działa najlepiej. Zatem użyj kroku MH dla podzbioru parametrów, utrzymując inne na stałym poziomie, a następnie użyj Gibbs dla drugiego podzbioru (gdzie warunki warunkowe są łatwe do oceny analitycznej). Właśnie zaczynam od tego, więc nie jestem jeszcze świadomy różnych rodzajów MH. Wszelkie porady na ten temat są mile widziane :-)

— Luca

12

główne uzasadnienie zastosowania algorytmu Metropolis polega na tym, że można go używać nawet wtedy, gdy wynikowy tył jest nieznany. W przypadku próbkowania Gibbsa musisz znać rozkłady tylne, z których rysujesz, jest zmienny.

— użytkownik3777456
źródło

1

Dziękuję za odpowiedź! Tak więc w GS chodzi o to, że warunki warunkowe są prostszymi rozkładami, z których można łatwo próbkować, podczas gdy wspólny rozkład, chociaż znany, może być skomplikowanym rozkładem, z którego trudno jest próbkować?

— Luca,

2

Tak to prawda. Często jednak próbkowanie Gibbsa i metropolia są używane łącznie. Uwarunkowanie niektórych zmiennych może dać ci zamkniętą postać tylną, podczas gdy dla innych nie jest to możliwe i musisz użyć „kroku metropolii”. W takim przypadku musisz zdecydować, jakiego rodzaju Metropolis-samplera (niezależność, losowy spacer) wybierasz i jakiego rodzaju gęstości propozycji używasz. Ale myślę, że to posuwa się trochę za daleko i powinieneś raczej przeczytać to w pierwszej kolejności.

— user3777456

3

Próbkowanie Gibbsa przełamuje klątwę wymiarowości podczas próbkowania, ponieważ podzieliłeś przestrzeń parametrów (być może wysoko wymiarową) na kilka nisko wymiarowych kroków. Metropolis-Hastings łagodzi niektóre problemy wymiarowe związane z generowaniem technik próbkowania odrzucania, ale nadal próbujesz z pełnego zróżnicowanego rozkładu (i decydujesz się zaakceptować / odrzucić próbkę), co powoduje, że algorytm cierpi na przekleństwo wymiarowości.

Pomyśl o tym w ten uproszczony sposób: o wiele łatwiej jest zaproponować aktualizację dla jednej zmiennej na raz (Gibbs) niż dla wszystkich zmiennych jednocześnie (Metropolis Hastings).

Biorąc to pod uwagę, wymiarowość przestrzeni parametrów nadal będzie wpływać na zbieżność zarówno w Gibbs, jak i Metropolis Hastings, ponieważ istnieje więcej parametrów, które potencjalnie nie mogą się zbiegać.

Gibbs jest również miły, ponieważ każdy krok pętli Gibbs może być w formie zamkniętej. Często dzieje się tak w modelach hierarchicznych, w których każdy parametr jest uwarunkowany tylko kilkoma innymi. Konstruowanie modelu często jest dość proste, tak aby każdy krok Gibbsa był w formie zamkniętej (gdy każdy krok jest koniugatem, czasami nazywany jest „półkoniugatem”). Jest to miłe, ponieważ próbujesz ze znanych dystrybucji, które często mogą być bardzo szybkie.

— TrynnaDoStat
źródło

„Próbkowanie Gibbsa przełamuje klątwę wymiarowości podczas próbkowania”: w rzeczywistości próbkowanie Gibbsa ma znacznie gorsze wyniki niż coś takiego jak Metropolis Hastings z adaptacyjną macierzą kowariancji propozycji.

— Cliff AB