Rozbieżność KL między dwoma wielowymiarowymi gaussami

Mam problem z wyprowadzeniem formuły dywergencji KL przy założeniu dwóch normalnych rozkładów wielowymiarowych. Zrobiłem przypadek jednoznaczny dość łatwo. Minęło jednak sporo czasu, odkąd wziąłem statystyki matematyczne, więc mam problem z rozszerzeniem go na przypadek wielowymiarowy. Jestem pewien, że brakuje mi czegoś prostego.

Oto co mam ...

Załóżmy, że zarówno jak i są plikami pdf normalnych rozkładów odpowiednio ze średnimi i i wariancjami i . Odległość Kullbacka-Leiblera od do wynosi: $p$ $q$ $\mu_1$ $\mu_2$ $\Sigma_1$ $\Sigma_2$ $q$ $p$

$\int \left[\log( p(x)) - \log( q(x)) \right]\ p(x)\ dx$ , co dla dwóch normalnych zmiennych wielowymiarowych to:

$\frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + Tr(\Sigma_2^{-1}\Sigma_1) + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]$

Kierując się tą samą logiką, co ten dowód , zajmę się tym zanim utknę:

$=\int \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right] \times p(x) dx$

$=\mathbb{E} \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right]$

Myślę, że muszę wdrożyć trik śledzenia , ale po prostu nie jestem pewien, co robić później. Będziemy wdzięczni za wszelkie pomocne wskazówki, które pozwolą mi wrócić na właściwy tor!

normal-distribution kullback-leibler proof

— dmartin
źródło

stanford.edu/~jduchi/projects/general_notes.pdf . Ostatnia sekcja zawiera również wyprowadzenie.

— user3540823,

Poczynając od miejsca, w którym zacząłeś od drobnych poprawek, możemy pisać

\begin{aligned} K L & = \int [\frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} (x - μ_{1})^{T} Σ_{1}^{- 1} (x - μ_{1}) + \frac{1}{2} (x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \times p (x) d x \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {E [(x - μ_{1}) (x - μ_{1})^{T}] Σ_{1}^{- 1}} + \frac{1}{2} E [(x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {I_{d}} + \frac{1}{2} (μ_{1} - μ_{2})^{T} Σ_{2}^{- 1} (μ_{1} - μ_{2}) + \frac{1}{2} tr {Σ_{2}^{- 1} Σ_{1}} \\ = \frac{1}{2} [\log \frac{| Σ_{2} |}{| Σ_{1} |} - d + tr {Σ_{2}^{- 1} Σ_{1}} + (μ_{2} - μ_{1})^{T} Σ_{2}^{- 1} (μ_{2} - μ_{1})] . \end{aligned}

$\begin{aligned} KL &= \int \left[ \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} (x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) + \frac{1}{2} (x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) \right] \times p(x) dx \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \left\{E[(x - \mu_1)(x - \mu_1)^T] \ \Sigma_1^{-1} \right\} + \frac{1}{2} E[(x - \mu_2)^T \Sigma_2^{-1} (x - \mu_2)] \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \{I_d \} + \frac{1}{2} (\mu_1 - \mu_2)^T \Sigma_2^{-1} (\mu_1 - \mu_2) + \frac{1}{2} \text{tr} \{ \Sigma_2^{-1} \Sigma_1 \} \\ &= \frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + \text{tr} \{ \Sigma_2^{-1}\Sigma_1 \} + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]. \end{aligned}$

Zauważ, że skorzystałem z kilku właściwości z Sekcji 8.2 Matrix Cookbook .

— ramhiser
źródło

Widzę, że wyjąłeś D, które pierwotnie miałem. Czy nie miałbyś pojęcia D po przejściu dziennika Gaussa w pierwszych kilku krokach?

— dmartin

Rozważ współczynnik skalowania , normalnej gęstości wielowymiarowej. Podczas obliczania różnicy logarytmicznej znika. Nie ma terminu na wyznaczniki - po prostu , który jest uwzględniony.

(2 π)^{- d / 2} | Σ_{k} |^{- 1 / 2}

$(2\pi)^{-d/2} |\Sigma_k|^{-1/2}$

k = 1, 2

$k = 1,2$

(2 π)^{- d / 2}

$(2\pi)^{-d/2}$

d

$d$

1 / 2

$1/2$

— ramhiser

Żaden problem. Cieszę się, że mogłem pomóc.

— ramhiser

Cześć, jak wymyśliłeś ostatni krok? Jak zmieniłeś znak na ?

μ_{1} - μ_{2}

$\mu_1 - \mu_2$

μ_{2} - μ_{1}

$\mu_2 - \mu_1$

— acidghost 11.04.16

@acidghost Każdy z nich działa, ponieważ możemy wyróżnić negatywny z obu stron. Pomnożenie dwóch ujemnych daje wynik dodatni.

— ramhiser