Czy algorytm Gibbs Sampling gwarantuje szczegółową równowagę?

Mam najwyższą władzę ^1, że Gibbs Sampling jest szczególnym przypadkiem algorytmu Metropolis-Hastings do próbkowania Markov Chain Monte Carlo. Algorytm MH zawsze daje prawdopodobieństwo przejścia z właściwością równowagi szczegółowej; Spodziewam się, że Gibbs też powinien. Więc gdzie w poniższym prostym przypadku popełniłem błąd?

Dla rozkładu docelowego $\pi(x, y)$ na dwóch zmiennych dyskretnych (dla uproszczenia) pełne rozkłady warunkowe to:

$$\begin{align} q_1 (x;y) & =\frac{\pi (x,y)}{\sum_z \pi (z,y)} \\ q_2 (y;x) & =\frac{\pi (x,y)}{\sum_z \pi (x,z)} \end{align}$$

Jak rozumiem próbkowanie Gibbsa, prawdopodobieństwo przejścia można zapisać:

$$Prob\{(y_1, y_2) \to (x_1, x_2)\} = q_1(x_1; y_2) q_2(x_2; x_1)$$

Pytanie brzmi, czy ale najbliższe, jakie mogę uzyskać, to π ( y 1 , y 2 ) P r o b { ( y 1 , y 2

$$\pi(y_1,y_2) Prob\{(y_1, y_2) \to (x_1, x_2)\} \overset{?}{=} \pi(x_1,x_2) Prob\{(x_1, x_2) \to (y_1, y_2)\},$$ Jest to subtelnie różne i nie oznacza szczegółowej równowagi. Dzięki za wszelkie przemyślenia! $$\begin{align} \pi(y_1,y_2) Prob\{(y_1, y_2) & \to (x_1, x_2)\} \\ & = \pi(y_1, y_2) q_2(x_2; x_1) q_1(x_1; y_2) \\ & = \frac{\pi(x_1, x_2)}{\sum_z \pi(x_1,z)}\frac{\pi(x_1, y_2)}{\sum_z \pi(z, y_2)}\pi (y_1, y_2) \\ & = \pi(x_1, x_2) q_2(y_2; x_1) q_1(y_1; y_2) \end{align}$$

Próbowano pokazać szczegółową równowagę dla łańcucha Markowa, który uzyskuje się, biorąc pod uwagę jedno przejście łańcucha Markowa jako „wyciągnięcie Gibbsa”, w którym próbkuje się kolejno każdy składnik z jego rozkładu warunkowego. W przypadku tego łańcucha szczegółowa równowaga nie jest spełniona. Chodzi raczej o to, że każde próbkowanie konkretnego komponentu z jego rozkładu warunkowego jest przejściem, który spełnia szczegółową równowagę. Bardziej trafne byłoby stwierdzenie, że próbkowanie Gibbsa jest szczególnym przypadkiem nieco uogólnionej Metropolis-Hastings, gdzie na przemian występuje wiele różnych propozycji. Więcej szczegółów poniżej.

Przesunięcia nie zapewniają szczegółowej równowagi

$X_1,X_2$

$$\begin{equation} \begin{array}{ccc} & X_2 = 0 & X_2 = 1 \\ X_1 = 0 & \frac{1}{3} & \frac{1}{3} \\ X_1 = 1 & 0 & \frac{1}{3} \end{array} \end{equation}$$ $X_1$$(0,0)$$(1,1)$$(0,0)$$(1,0)$$(1,1)$$(0,0)$$\frac{1}{4}$

Jednak ten łańcuch nadal ma prawidłowy rozkład stacjonarny. Szczegółowa równowaga jest wystarczającym, ale nie koniecznym warunkiem konwergencji do rozkładu docelowego.

Ruchy komponentowe zapewniają równowagę szczegółową

$(x_1,x_2)$$(y_1,y_2)$$x_2 \neq y_2$$x_2 = y_2$

$$\begin{equation} \pi(x_1,x_2) \mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2)) = \pi(x_1,x_2)\,p(y_1 \mid X_2 = x_2) = \pi(x_1,x_2) \, \frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)} \\ = \pi(y_1,x_2) \, \frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)} = \pi(y_1,x_2) \,p(x_1 \mid X_2 = x_2) = \pi(y_1,x_2) \mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2)). \end{equation}$$

How the component-wise moves are Metropolis-Hastings moves?

Sampling from the first component, our proposal distribution is the conditional distribution. (For all other components, we propose the current values with probability $1$). Considering a move from $(x_1, x_2)$ to $(y_1, y_2)$, the ratio of target probabilities is

$$\begin{equation} \frac{\pi(y_1,x_2)}{\pi(x_1,x_2)}. \end{equation}$$ But the ratio of proposal probabilities is $$\begin{equation} \frac{\mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2))}{\mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2))} = \frac{\frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)}}{\frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)}} = \frac{\pi(x_1,x_2)}{\pi(y_1,x_2)}. \end{equation}$$ So, the ratio of target probabilities and the ratio of proposal probabilities are reciprocals, and thus the acceptance probability will be $1$. In this sense, each of the moves in the Gibbs sampler are special cases of Metropolis-Hastings moves. However, the overall algorithm viewed in this light is a slight generalization of the typically presented Metropolis-Hastings algorithm in that you have alternate between different proposal distributions (one for each component of the target variable).