Związek między wariacyjnymi Bayes i EM

Czytałem gdzieś, że metoda Variational Bayes jest uogólnieniem algorytmu EM. Rzeczywiście, iteracyjne części algorytmów są bardzo podobne. Aby przetestować, czy algorytm EM jest specjalną wersją Variational Bayes, próbowałem:

$Y$ to dane, to zbiór ukrytych zmiennych, a to parametry. W Variational Bayes, które wykonujemy, możemy dokonać przybliżenia, tak aby . Gdzie są prostsze, możliwe do dystrybucji rozkłady. $X$ $\Theta$ $P(X,\Theta|Y) \approx Q_X(X)Q_\Theta(\Theta)$ $Q$
Ponieważ algorytm EM znajduje oszacowanie punktu MAP, pomyślałem, że zmienne Bayes mogą zbiegać się do EM, jeśli użyję funkcji Delta, takiej jak: . jest pierwszym oszacowaniem parametrów, jak zwykle w EM. $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $\Theta_1$
Gdy podano , który minimalizuje dywergencję KL, można znaleźć za pomocą wzoru Powyższa formuła upraszcza się do , ten etap okazuje się być odpowiednikiem kroku Oczekiwania algorytmu EM! $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $Q^1_X(X)$
$Q_{X}^{1} (X) = \frac{\exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)])}{\int \exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)]) d X}$ $Q^1_X(X)=\frac{\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])}{\int\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])dX}$ $Q^1_X(X)=P(X|\Theta^1,Y)$

Ale nie mogę wyprowadzić kroku Maksymalizacji jako kontynuacji tego. W następnym kroku musimy obliczyć i zgodnie z regułą iteracji Variational Bayesa jest to: $Q^2_\Theta(\Theta)$

Q_{Θ}^{2)} (Θ) = \frac{\exp ({mi}_{P. (X | Θ^{1}, Y)} [\ln P. (X, Y, Θ)])}{\int \exp ({mi}_{P. (X | Θ^{1}, Y)} [\ln P. (X, Y, Θ)]) re Θ}

$Q^2_\Theta(\Theta)=\frac{\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])}{\int\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])d\Theta}$

Czy algorytmy VB i EM są naprawdę połączone w ten sposób? Jak możemy wyprowadzić EM jako szczególny przypadek odmian wariacyjnych, czy moje podejście jest prawdziwe?

bayesian expectation-maximization variational-bayes

— Ufuk Can Bicici
źródło

Gdzie przeczytałeś, że algorytm EM znajduje oszacowanie MAP? Związek między wnioskowaniem wariacyjnym a EM stanie się jasny, gdy zrozumiesz pogląd EM przedstawiony w tym artykule przez Neal & Hinton (1998) . Zobacz także moją odpowiedź tutaj .

— Lucas

Myślę, że nauczyłem się algorytmu EM w taki sam sposób, jak wyjaśnia ten artykuł, jest on postrzegany jako problem maksymalizacji dolnej granicy. Korzystając z równości Jensena i rachunku wariacyjnego, okazuje się, że na etapie oczekiwania jest rozkładem, który maksymalizuje dolną granicę dla aw kroku maksymalizacji znajduje się , co jest wartością maksymalną w dolnej granicy. Jest to podobne do Bayesów wariacyjnych. (I zbiega się z lokalnym maksimum brzeżnej tylnej, stąd oszacowanie MAP)

P (X | Θ^{t}, Y)

$P(X|\Theta^t,Y)$

Θ^{t}

$\Theta^t$

Θ^{t + 1} = a r g m a x_{Θ} < \ln P (X, Y, Θ) >_{P (X | Θ^{t}, Y)}

$\Theta^{t+1} = arg max_{\Theta} <\ln P(X,Y,\Theta)>_{P(X|\Theta^t,Y)}$

— Ufuk Can Bicici

Przepraszam, nie przeczytałem twojego pytania wystarczająco uważnie. Uważam, że krok maksymalizacji w celu obliczenia jest poprawny tylko wtedy, gdy dopuszczasz dowolną dystrybucję, to znaczy, jeśli przyjmujesz tylko założenie faktoryzacyjne. Ale dodatkowo założyłeś, że jest rozkładem delta. Spróbuj jawnie zmaksymalizować dolną granicę w odniesieniu do , parametru .

Q_{Θ}^{2}

$Q_\Theta^2$

Q_{Θ}^{2}

$Q_\Theta^2$

Θ^{2}

$\Theta^2$

Q_{Θ}^{2} (Θ) = δ_{Θ^{2}} (Θ)

$Q_\Theta^2(\Theta) = \delta_{\Theta^2}(\Theta)$

— Lucas

Na stronie 21 prezentacji cs.cmu.edu/~tom/10-702/Zoubin-702.pdf znalazłem porównanie EM i VB, podobnie za pomocą funkcji Diraca. Ale nie podano, w jaki sposób VB redukuje się do EM.

— Ufuk Can Bicici

Twoje podejście jest prawidłowe. EM jest równoważne VB pod warunkiem, że przybliżona tylna dla jest ograniczona do masy punktowej. (Jest to wspomniane bez dowodu na stronie 337 analizy danych bayesowskich .) Niech będzie nieznanym miejscem tej masy punktowej: VB będzie zminimalizuj następującą dywergencję : Minimum powyżej daje krok E EM, a minimum powyżej daje krok M EM. $\Theta$ $\Theta^*$

Q_{Θ} (Θ) = δ (Θ - Θ^{*})

$Q_\Theta(\Theta) = \delta(\Theta - \Theta^*)$

K. L. (Q | | P.) = \int \int Q_{X} (X) Q_{Θ} (Θ) \ln \frac{Q_{X} (X) Q_{Θ} (Θ)}{P. (X, Y, Θ)} re X re Θ = \int Q_{X} (X) \ln \frac{Q_{X} (X) Q_{Θ} (Θ^{*})}{P. (X, Y, Θ^{*})} re X

$KL(Q||P)=\int \int Q_X(X) Q_\Theta(\Theta) \ln \frac{Q_X(X) Q_\Theta(\Theta)}{P(X,Y,\Theta)} dX d\Theta \\ = \int Q_X(X) \ln \frac{Q_X(X) Q_\Theta(\Theta^*)}{P(X,Y,\Theta^*)} dX$

Q_{X} (X)

$Q_X(X)$

Θ^{*}

$\Theta^*$

Oczywiście, gdybyś rzeczywiście ocenił rozbieżność KL, byłoby to nieskończone. Ale to nie jest problem, jeśli weźmiesz pod uwagę funkcję delta jako ograniczenie.

— Tom Minka
źródło

Technicznie, maksymalizacja wrt odpowiada krokowi M MAP-EM (z wcześniejszym ). - sekcja 3.1 artykułu VBEM

E_{Q_{x}} [\ln P (X, Y, Θ^{*})] = E_{Q_{x}} [\ln P (X, Y | Θ^{*})] + \ln P (Θ^{*})

$\mathbb{E}_{Q_x}[\ln P(X, Y, \Theta^*)] = \mathbb{E}_{Q_x}[\ln P(X, Y | \Theta^*)] + \ln P(\Theta^*)$

Θ^{*}

$\Theta^*$

P (Θ^{*})

$P(\Theta^*)$

— Yibo Yang