Jak uzyskać próbkowanie Gibbsa?

W rzeczywistości waham się zadać to pytanie, ponieważ obawiam się, że zostaną skierowane do innych pytań lub Wikipedii na temat pobierania próbek Gibbs, ale nie mam wrażenia, że opisują to, co jest pod ręką.

Biorąc pod uwagę prawdopodobieństwo warunkowe : $p(x|y)$

\begin{array}{ccc} p (x | y) & y = y_{0} & y = y_{1} \\ x = x_{0} & \frac{1}{4} & \frac{2}{6} \\ x = x_{1} & \frac{3}{4} & \frac{4}{6} \end{array}

$\begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{4} & \tfrac{2}{6} \\ \hline x = x_1 & \tfrac{3}{4} & \tfrac{4}{6} \\ \end{array}$

I prawdopodobieństwo warunkowe : $p(y|x)$

\begin{array}{ccc} p (y | x) & y = y_{0} & y = y_{1} \\ x = x_{0} & \frac{1}{3} & \frac{2}{3} \\ x = x_{1} & \frac{3}{7} & \frac{4}{7} \end{array}

$\begin{array}{c|c|c} p(y|x) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{3} & \tfrac{2}{3} \\ \hline x = x_1 & \tfrac{3}{7} & \tfrac{4}{7} \\ \end{array}$

Możemy wyjątkowo wymyślić wspólne prawdopodobieństwo : $f_{unique}=p(x,y)$

\begin{array}{cccc} p (x, y) & y = y_{0} & y = y_{1} & p (x) \\ x = x_{0} & a_{0} & a_{1} & c_{0} \\ x = x_{1} & a_{2} & a_{3} & c_{1} \\ p (y) & b_{0} & b_{1} \end{array}

$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & a_0 & a_1 & c_0 \\ \hline x = x_1 & a_2 & a_3 & c_1 \\ \hline p(y) & b_0 & b_1 & \\ \end{array}$

Ponieważ chociaż mamy niewiadomych, mamy więcej ( ) równań liniowych: $8$ $4*2+3$

$a_0+a_1+a_2+a_3=1 \\ b_0+b_1 = 1 \\ c_0+c_1 = 1$

Jak również:

$\tfrac{1}{4} b_0 = a_0 \\ \tfrac{3}{4} b_0 = a_2 \\ \tfrac{2}{6} (1-b_0) = a_1 \\ \tfrac{4}{6} (1-b_0) = a_3 \\ \tfrac{1}{3} c_0 = a_0 \\ \tfrac{2}{3} c_0 = a_1 \\ \tfrac{3}{7} (1-c_0) = a_2 \\ \tfrac{4}{7} (1-c_0) = a_3$

Szybko rozwiązuje to , . Mianowicie poprzez zrównanie z . To daje a reszta następuje. $c_0=\tfrac{3}{4}b_0$ $\tfrac{2}{3}c_0=a_1$ $\tfrac{2}{4}b_0=a_1$ $\tfrac{2}{6}(1-b_0)=a_1$ $b_0=\tfrac{2}{5}$

\begin{array}{cccc} p (x, y) & y = y_{0} & y = y_{1} & p (x) \\ x = x_{0} & \frac{1}{10} & \frac{2}{10} & \frac{3}{10} \\ x = x_{1} & \frac{3}{10} & \frac{4}{10} & \frac{7}{10} \\ p (y) & \frac{4}{10} & \frac{6}{10} \end{array}

$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & \tfrac{1}{10} & \tfrac{2}{10} & \tfrac{3}{10} \\ \hline x = x_1 & \tfrac{3}{10} & \tfrac{4}{10} & \tfrac{7}{10} \\ \hline p(y) & \tfrac{4}{10} & \tfrac{6}{10} & \\ \end{array}$

Teraz przechodzimy do ciągłego przypadku. Można sobie wyobrazić interwały i zachować powyższą strukturę w dotyku (z większą liczbą równań niż niewiadomych). Co jednak dzieje się, gdy przechodzimy do (punktowych) instancji zmiennych losowych? Jak działa pobieranie próbek

x_{a} \sim p (x | y = y_{b}) y_{b} \sim p (y | x = x_{a})

$x_a \sim p(x|y=y_b) \\ y_b \sim p(y|x=x_a)$

iteracyjnie, prowadzić do ? Odpowiednik ograniczenia , w jaki sposób zapewnia on na przykład ? Podobnie z . Czy możemy zapisać ograniczenia i wyprowadzić próbkowanie Gibbsa z pierwszych zasad? $p(x,y)$ $a_0 + a_1 + a_2 + a_3=1$ $\int_X \int_Y p(x,y) dy dx = 1$ $\int_Y p(y|x)dy=1$

Nie interesuje mnie więc, jak przeprowadzić próbkowanie Gibbsa, co jest proste, ale interesuje mnie sposób jego uzyskania, a najlepiej, jak udowodnić, że działa (prawdopodobnie pod pewnymi warunkami).

sampling mcmc gibbs

— Anne van Rossum
źródło

Obliczenie wspólnego rozkładu z rozkładów warunkowych jest bardzo trudne. Jeśli rozkłady warunkowe zostaną wybrane arbitralnie, wspólny rozkład wspólny może nawet nie istnieć. W takim przypadku nawet wykazanie, że rozkłady warunkowe są spójne, jest na ogół trudne. Jednym z rezultatów, który można wykorzystać do wyprowadzenia wspólnej dystrybucji, jest lemat Brook'a , wybierając stan stały , chociaż sam nigdy z powodzeniem go nie wykorzystałem do tego celu. Aby uzyskać więcej na ten temat, przyjrzałbym się pracy Juliana Besaga.

\frac{p (x)}{p (x^{'})} = \prod_{i} \frac{p (x_{i} ∣ x_{< i}, x_{> i}^{'})}{p (x_{i}^{'} ∣ x_{< i}, x_{> i}^{'})},

$\frac{p(\mathbf{x})}{p(\mathbf{x}')} = \prod_i \frac{p(x_i \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})}{p(x_i' \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})},$

x^{'}

$\mathbf{x}'$

Aby udowodnić, że próbkowanie Gibbsa działa, lepiej wybrać inną trasę. Jeśli łańcuch Markowa zaimplementowany przez algorytm próbkowania ma rozkład jako rozkład niezmienny i jest nieredukowalny i aperiodyczny , łańcuch Markowa zbiegnie się do tego rozkładu (Tierney, 1994) . $p$

Próbkowanie Gibbsa zawsze pozostawia niezmiennik wspólnego rozkładu, z którego wyprowadzono rozkłady warunkowe: Z grubsza, jeśli i , to $(x_0, y_0) \sim p(x_0, y_0)$ $x_1 \sim p(x_1 \mid y_0)$

(x_{1}, y_{0}) \sim \int p (x_{0}, y_{0}) p (x_{1} ∣ y_{0}) d x_{0} = p (x_{1} ∣ y_{0}) p (y_{0}) = p (x_{1}, y_{0}) .

$(x_1, y_0) \sim \int p(x_0, y_0) p(x_1 \mid y_0) \, dx_0 = p(x_1 \mid y_0) p(y_0) = p(x_1, y_0).$

Oznacza to, że aktualizacja przez warunkowe próbkowanie nie zmienia rozkładu próbki. $x$

Jednak próbkowanie Gibbsa nie zawsze jest nieredukowalne . Chociaż zawsze możemy go zastosować bez rozbijania rzeczy (w tym sensie, że jeśli mamy już próbkę z pożądanego rozkładu, to nie zmieni rozkładu), to zależy od wspólnego rozkładu, czy próbkowanie Gibbsa rzeczywiście się do niego zbiegnie (wystarczy warunkiem nieredukowalności jest to, że gęstość jest wszędzie dodatnia, ). $p(\mathbf{x}) > 0$

— Lucas
źródło

Ciekawy problem z kompatybilnością. Sprawdzam teraz „Zgodność skończonych dyskretnych rozkładów warunkowych” (Song i in.), Którzy używają „macierzy proporcji” w celu ustalenia zgodności i niepowtarzalności. Tak więc Gibbs nie może być wyprowadzony z tych ograniczeń, ponieważ nie są one wymuszane na początek. Mogę sobie wyobrazić, że może zwrócić nieprawidłowy rozkład połączeń (suma> 1), jeśli na przykład rozkłady warunkowe są niezgodne. Jakoś jednak mam wrażenie, że to, co robię, jest czymś deterministycznym, czymś zbliżonym do transformacji Radona. Próbkowanie Gibbsa wygląda tak ... brudne.

— Anne van Rossum,