Jaka jest różnica między próbkowaniem Metropolis Hastings, Gibbs, Znaczenie i odrzuceniem?

Próbowałem nauczyć się metod MCMC i natknąłem się na próbkowanie Metropolis Hastings, Gibbs, Ważność i Odrzucenie. Chociaż niektóre z tych różnic są oczywiste, tj. Jak Gibbs jest szczególnym przypadkiem Metropolis Hastings, gdy mamy pełne warunki warunkowe, inne są mniej oczywiste, na przykład gdy chcemy użyć MH w próbniku Gibbs itp. Czy ktoś ma prosty sposób, aby zobaczyć większość różnic między nimi? Dzięki!

Jak wyszczególniono w naszej książce z George Casella, Monte Carlo metod statystycznych , metody te są stosowane do próbek produktów z danej dystrybucji, o gęstości powiedzenia, albo aby zorientować się na temat tej dystrybucji, lub do rozwiązania integracji i optymalizacji problemu związanego z f . Na przykład, aby znaleźć wartość ∫ X h ( x ) f ( x ) d $f$$f$ lub tryb rozkładu h ( X ), gdy X ∼ f ( x ) lub kwantyl tego rozkładu.

Aby porównać łańcuch Monte Carlo i Markowa metody Monte Carlo, o których wspominasz w odpowiednich kryteriach, wymagają ustalenia tła problemu i celów eksperymentu symulacyjnego, ponieważ zalety i wady każdego z nich będą się różnić w zależności od przypadku.

Oto kilka ogólnych uwag, które z pewnością nie obejmują złożoności problemu :

1. Metody akceptowania -odrzucania mają na celu dostarczenie próbki iid z . Aby to osiągnąć, projektuje się algorytm, który przyjmuje jako dane wejściowe losową liczbę wartości zmiennych u 1 , u 2 , … i zwraca wartość x, która jest realizacją z f . Do zalet jest to, że brak jest przybliżenie w metodzie: wynik jest naprawdę iid próbka z f . Te zalety są liczne: (i) zaprojektować algorytm znajdując obwiednię $f$$u_1,u_2,\ldots$$x$$f$$f$$f$które mogą być generowane mogą być bardzo kosztowne w czasie ludzkim; (ii) algorytm może być nieefektywny w obliczaniu czasu, tj. wymaga wielu mundurów do wytworzenia pojedynczego ; (iii) tych występów zmniejsza się z wymiarem X . Krótko mówiąc, takich metod nie można użyć do symulacji jednej lub kilku symulacji zf, chyba że są one już dostępne w języku komputerowym takim jak R.$x$$X$$f$
2. Metody Monte Carlo (MCMC) w łańcuchu Markowa są rozszerzeniem metod symulacji iid, gdy symulacja iid jest zbyt kosztowna. Wytwarzają sekwencję symulacji których ograniczeniem jest rozkład f . Te zalety są takie, że (i) do informacji o f jest potrzebne do realizacji sposobu; (ii) f może być znane tylko do stałej normalizującej lub nawet jako całka f ( x ) ∝ ∫ Z ˜ f ( x , z ) d $(x_t)_t$$f$$f$$f$ $$f(x)\propto\int_{\mathcal{Z}} \tilde{f}(x,z)\text{d}z$$ i nadal są powiązane z metodą MCMC; (iii) istnieją ogólne algorytmy MCMC do tworzenia symulacji które wymagają bardzo małej kalibracji; (iv) wymiar nie stanowi większego problemu, ponieważ cele o dużych wymiarach można podzielić na warunki warunkowe o mniejszych wymiarach (jak w próbkowaniu Gibbsa). Te zalety są takie, że: (i) symulacje ( x T ) T są skorelowane, a tym samym mniej informacji niż IID symulacji; (ii) walidacja metody jest tylko asymptotyczna, dlatego istnieje przybliżenie, biorąc pod uwagę x t dla stałej t jako realizacji f ; (iii) konwergencja z$(x_t)_t$$(x_t)_t$$x_t$$t$$f$ ( wt ) może być tak wolny, że dla wszystkich praktycznych celówalgorytm nie jest zbieżny; (iv) uniwersalna walidacja metody oznacza, że ​​istnieje nieskończona liczba potencjalnych wdrożeń, przy równie nieskończonym zakresie wydajności.$f$$t$
3. Metody pobierania próbek o znaczeniu istotnym są pierwotnie zaprojektowane dla przybliżonych przybliżeń, a mianowicie generowania ze złego celu i kompensowania przez wagę istotności f ( x ) / g ( x $g(x)$ $$f(x)/g(x)\,.$$ $g$$f$$g$ minusy$g$$f$