Wnioskowanie wariacyjne, rozbieżność KL wymaga prawdziwej

Aby mój (bardzo skromny) zrozumieć wnioskowanie wariacyjne, próbuje się przybliżyć przybliżenie nieznanego rozkładu , znajdując rozkład który optymalizuje:$p$$q$

$$KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)}$$

Ilekroć inwestuję czas w zrozumienie wnioskowania wariacyjnego, ciągle uderzam w tę formułę i nie mogę się powstrzymać, ale czuję, że nie rozumiem tego. Wydaje się, że muszę znać , aby obliczyć . Ale cała rzecz była nie wiedziałem tego rozkładu .$p$$KL(p||q)$$p$

Właśnie ten punkt mnie wkurza za każdym razem, gdy próbuję przeczytać coś wariacyjnego. czego mi brakuje?

EDYCJA :

Dodam tutaj kilka dodatkowych komentarzy w wyniku odpowiedzi @wij, postaram się być bardziej precyzyjny.

W przypadkach, które mnie interesują, rzeczywiście wydaje się całkowicie uzasadnione, aby wziąć pod uwagę, co następuje:

$$p(\theta | D) = \frac{p(D|\theta)p(\theta)}{p(D)} \propto p(D|\theta)p(\theta)$$

W tym przypadku mogłem wiedzieć, jak powinno wyglądać proporcjonalnie, ponieważ dokonałem wyboru modelu dla i . Czy miałbym wtedy rację mówiąc, że muszę wybrać rozkład rodziny [powiedzmy gaussa], tak że teraz mogę oszacować . Wydaje się, że w tym przypadku próbuję dopasować gaussa, który jest zbliżony do nienormalizowanego . Czy to jest poprawne?p ( D | θ ) p ( θ ) q K L ( p ( θ | D ) | | q ) p ( D | θ ) p ( θ $p$$p(D|\theta)$$p(\theta)$$q$$KL(p(\theta|D) || q)$$p(D|\theta)p(\theta)$

Jeśli tak, wydaje mi się, że zakładam, że mój tył jest rozkładem normalnym i po prostu staram się znaleźć prawdopodobne wartości tego rozkładu w odniesieniu do rozbieżności .$KL$

Mam wrażenie, że traktujesz jako zupełnie nieznany obiekt. Nie sądzę, że tak jest. Prawdopodobnie tego przegapiłeś.$p$

Powiedzmy, że obserwujemy (iid) i chcemy wywnioskować gdzie przyjmujemy, że i dla x ∈ R d są określone przez model. Zgodnie z regułą Bayesa p ( x | Y ) p ( y | x ) p ( x $Y = \{y_i\}_{i=1}^n$$p(x|Y)$$p(y|x)$$p(x)$$x\in\mathbb{R}^d$

$$p(x|Y) = \frac{p(x)}{p(Y)}p(Y|x) = \frac{p(x)}{p(Y)}\prod_{i=1}^n p(y_i|x).$$

Pierwszą obserwacją jest to, że wiemy coś o rozkładzie bocznym . Podano jak wyżej. Zazwyczaj po prostu nie znamy jego normalizatora p ( Y ) . Jeśli prawdopodobieństwo p ( y | x ) jest bardzo skomplikowane, wówczas mamy skomplikowany rozkład p ( x | Y ) .$p(x|Y)$$p(Y)$$p(y|x)$$p(x|Y)$

$q$$\arg \min_q KL(p||q)$$p$q ∈ Q = { ∏ d i = 1 q i ( x i ) ∣ każdy  q i  jest jednowymiarowym gaussowskim } $q$$q \in \mathcal{Q} = \{\prod_{i=1}^d q_i(x_i) \mid \text{each } q_i \text{ is a one-dimensional Gaussian}\}$$q$

$$q_i \propto \exp( \mathbb{E}_{\prod_{j\neq i} q_j} \log p(x, Y) ),$$

gdzieDokładna formuła nie ma większego znaczenia. Chodzi o przybliżone można znaleźć, opierając się na wiedzy o prawdziwym i założeniu, że postać powinna przyjąć przybliżone .q p $p(x, Y) = p(x) \prod_{i=1}^n p(y_i|x).$$q$$p$$q$

Aktualizacja

Poniżej znajduje się odpowiedź na zaktualizowaną część pytania. Właśnie zdałem sobie sprawę, że myślę o . Zawsze użyję dla prawdziwej ilości, a dla przybliżonej. W wnioskowaniu wariacyjnym lub wariacyjnym Bayesie podaje:p q $KL(q||p(x|Y))$$p$$q$$q$

$$q = \arg \min_{q \in \mathcal{Q}} KL(q\, ||\, p(x|Y)).$$

Przy ustawionym ograniczeniu jak wyżej, rozwiązaniem jest to podane wcześniej. Teraz, jeśli myślisz$\mathcal{Q}$

$$q = \arg \min_{q \in \mathcal{Q}} KL( p(x|Y) \, || \, q),$$

dla zdefiniowanego jako podzbiór rodziny wykładniczej, to wnioskowanie to nazywa się propagacją oczekiwaną (EP). Rozwiązaniem dla w tym przypadku jest takie, że jego momenty są takie same jak dla . q p ( x | Y $\mathcal{Q}$$q$$p(x|Y)$

Tak czy inaczej, masz rację mówiąc, że zasadniczo próbujesz przybliżyć rzeczywistą dystrybucję boczną w sensie KL przez dystrybucję ograniczoną do przyjęcia jakiejś formy.$q$