Zamieszanie związane z próbkowaniem Gibbsa

Natknąłem się na ten artykuł, w którym napisano, że w próbkowaniu Gibbsa każda próbka jest akceptowana. Jestem trochę zmieszany. Jak to możliwe, że jeśli każda zaakceptowana próbka zbiega się w rozkład stacjonarny.

Ogólnie algorytm metropolii akceptujemy jako min (1, p (x *) / p (x)), gdzie x * jest punktem próbkowania. Zakładam, że x * wskazuje nam pozycję, w której gęstość jest wysoka, więc przechodzimy do rozkładu celu. Dlatego przypuszczam, że przesuwa się on do rozkładu docelowego po okresie wypalenia.

Jednak w próbkowaniu Gibbs akceptujemy wszystko, więc nawet jeśli może to nas zabrać w inne miejsce, jak możemy powiedzieć, że zbiega się z rozkładem stacjonarnym / docelowym

Załóżmy, że mają rozkład . Nie możemy obliczyć Z. W algorytmie metropolii używamy terminu aby uwzględnić rozkład plus stała normalizująca Z anuluje się. Więc w porządku $p(\theta) = c(\theta)/Z$ $c(\theta^{new})/c(\theta^{old})$ $c(\theta)$

Ale w próbkowaniu Gibbsa, gdzie używamy rozkładu $c(\theta)$

Na przykład w artykule http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdf jego dane

więc nie mamy dokładnego rozkładu warunkowego, z którego można próbkować, po prostu mamy coś, co jest wprost proporcjonalne do rozkładu warunkowego

wprowadź opis zdjęcia tutaj

mcmc gibbs metropolis-hastings

— użytkownik34790
źródło

Co stałoby się w Metropolis-Hastings, gdyby zawsze było równe 1?

p (x *) / p (x)

$p(x*)/p(x)$

— Glen_b

Odpowiedzi:

Kiedy używamy algorytmu Metropolis-Hastings, musimy obliczyć współczynnik akceptacji i pozwolić zmiennej losowej to akceptujemy zmienną losową, jeśli .

α = min (1, \frac{p (x^{*})}{p (x)})

$\alpha=\min(1,\frac{p(x^*)}{p(x)})$

U \sim Uniform(0,1)

$U\sim\text{Uniform(0,1)}$

U < α

$U<\alpha$

Jednak w próbkowaniu Gibbsa zawsze wykluczamy zmienną losową, ponieważ nie musimy obliczać współczynnika akceptacji (właściwie to robisz, ale po podłączeniu rzeczy widzisz, że wszystko się anuluje, a twój współczynnik akceptacji wynosi i tak wyraźnie) jest zawsze mniejsze niż i dlatego zawsze akceptujesz). Możesz jednak pomyśleć o tym intuicyjnie, gdy w próbkowaniu Gibbsa próbkujesz z pełnego warunku, który jest wyrażeniem o zamkniętej formie, z którego możemy próbkować bezpośrednio, więc nie ma potrzeby odrzucania próbek jak w algorytmie Metropolis-Hastings, w którym nie wiem jak próbkować z (lub zazwyczaj nie rozpoznaje formy) . Mam nadzieję, że to pomaga! $\alpha=1$ $U$ $\alpha$ $p(x)$

wprowadź opis zdjęcia tutaj

Nie zrozumiałem, dlaczego wszystko się anuluje. Powiedzmy, że musimy próbkować z rozkładu 3 zmiennych. Kiedy więc chciałeś powiedzieć pełne warunki warunkowe w wyrażeniu w formie zamkniętej, masz na myśli p (x1 | x2, x3) p (x2 | x1, x3) i p (x3 | x1, x2). Moje pytanie brzmi: w przypadku próbkowania Gibbsa znamy rozkład warunkowy uzyskany z rzeczywistego rozkładu p, z którego chcemy próbkować. Czy o to Ci chodziło. W przypadku algorytmu Metropolis nie znamy p, ale coś w rodzaju c takiego, że p (x) = c (x) / Z ??

p (θ)

$p(\theta)$

— user34790,

Załóżmy, że zaczynamy od losowych wartości dla zmiennych x1, x2 i x3, jak można powiedzieć, że jego rozkład stacjonarny zbiega się z wymaganym. Jakie są tego kryteria?

— user34790,

Załóżmy, że mają rozkład . Nie znam Z. Więc w jaki sposób miałbym próbkować z przy użyciu próbkowania Gibbsa

p (θ) = c (θ) / Z

$p(\theta) = c(\theta)/Z$

p (θ)

$p(\theta)$

— 34790

Dodałem dowód powyżej, dlaczego zawsze jest jeden. Aby użyć próbkowania Gibbsa, musisz wiedzieć, jakie są pełne warunki warunkowe.

Dowód, że współczynnik akceptacji jest równy 1 jako literówka, tj. W mianowniku w środkowej i trzeciej części, wyrażenie na q powinno mieć liczbę pierwszą z_i, aby na końcu otrzymać P (liczba pierwsza z_i | z_i pierwsza).

Alex

— użytkownik60803
źródło