Po pierwsze, pozwólcie mi to zauważyć [nieco pedantycznie]
Istnieje kilka różnych rodzajów algorytmów MCMC: Metropolis-Hastings, Gibbs, próbkowanie ważności / odrzucenia (powiązane).
ważność i metody odrzucania próbkowania nie są algorytmami MCMC, ponieważ nie są oparte na łańcuchach Markowa. Właściwie próbkowania znaczenie nie daje próbkę z rozkładu docelowego, powiedzieć, ale tylko wag znaczenie na przykład do wykorzystania w Monte Carlo przybliżeń całek związanych z . Wykorzystanie tych wag jako prawdopodobieństw do wytworzenia próbki nie prowadzi do uzyskania właściwej próbki , mimo że można uzyskać obiektywne estymatory oczekiwań dla .faωfafafa
Po drugie pytanie
Dlaczego ktoś miałby pobierać próbki Gibbs zamiast Metropolis-Hastings? Podejrzewam, że zdarzają się przypadki, w których wnioskowanie jest łatwiejsze w przypadku próbkowania Gibbsa niż w przypadku Metropolis-Hastings
nie ma odpowiedzi, że próbnik Metropolis-Hastings może być prawie wszystkim, w tym próbnikiem Gibbsa. Odpowiedziałem dość szczegółowo na wcześniejsze i podobne pytanie. Ale dodam tutaj kilka zbędnych punktów:
Głównym powodem, dla którego wprowadzono próbkowanie Gibbsa, było przełamanie klątwy wymiarowości (która wpływa zarówno na próbę odrzucenia, jak i ważności) poprzez stworzenie sekwencji symulacji niskiego wymiaru, które wciąż są zbieżne z właściwym celem. Mimo że wymiar celu wpływa na szybkość konwergencji. Próbniki Metropolis-Hastings są zaprojektowane do tworzenia łańcucha Markowa (podobnie jak próbkowanie Gibbsa) w oparciu o propozycję (podobnie jak próbkowanie ważności i odrzucenia) poprzez skorygowanie niewłaściwej gęstości poprzez krok akceptacji-odrzucenia. Ważną kwestią jest jednak to, że się nie sprzeciwiają: mianowicie próbkowanie Gibbsa może wymagać kroków Metropolis-Hastings w obliczu złożonych, jeśli niskonakładowych celów warunkowych, podczas gdy propozycje Metropolis-Hastings mogą być budowane na podstawie przybliżeń do pełnych warunków warunkowych (Gibbs). W formalnej definicji Próbkowanie Gibbsa jest szczególnym przypadkiem algorytmu Metropolis-Hasting z prawdopodobieństwem przyjęcia jednego. (Nawiasem mówiąc, sprzeciwiam się użyciuwnioskowanie w tym cytacie, ponieważ zarezerwowałbym go do celów statystycznych , podczas gdy te próbniki są urządzeniami numerycznymi )
Zwykle próbkowanie Gibbsa [rozumiane jako przeprowadzanie sekwencji niskowymiarowych symulacji warunkowych] jest preferowane w ustawieniach, w których rozkład na takie warunki warunkowe jest łatwy do wdrożenia i szybki do uruchomienia. W ustawieniach, w których takie dekompozycje indukują multimodalność, a co za tym idzie trudności w poruszaniu się między trybami (przychodzą na myśl modele zmiennych utajonych, takie jak modele mieszane), zastosowanie bardziej globalnej propozycji w algorytmie Metropolis-Hasting może zapewnić wyższą wydajność. Jednak wadą jest wybór rozkładu propozycji w algorytmie Metropolis-Hasting.