Jaka jest maksymalna wartość dywergencji Kullbacka-Leiblera (KL)

Zamierzam użyć rozbieżności KL w moim kodzie python i mam ten samouczek .

W tym samouczku wdrożenie rozbieżności KL jest dość proste.

kl = (model * np.log(model/actual)).sum()

Jak rozumiem, rozkład prawdopodobieństwa modeli actualpowinien wynosić <= 1.

Moje pytanie brzmi: jaka jest maksymalna związana / maksymalna możliwa wartość k ?. Muszę znać maksymalną możliwą wartość kl odległości jak dla maksymalnej granicy w moim kodzie.

Lub nawet przy takim samym wsparciu, gdy jedna dystrybucja ma znacznie grubszy ogon niż druga. Weź gdy a następnie i Istnieją inne odległości, które pozostają ograniczone, takie jakp ( x ) = gęstość Cauchy'ego ⏞

$$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$$ KL(P||P)=∫ $$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$$ ∫ $$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$$ $$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$$

• odległość, co odpowiada całkowitej długości zmianie,$L¹$
• odległości Wasserstein
• odległość Hellingera

W przypadku dystrybucji, które nie mają tego samego wsparcia, rozbieżność KL nie jest ograniczona. Spójrz na definicję:

$$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$$

jeśli P i Q nie mają tego samego wsparcia, istnieje punkt gdzie i , co powoduje, że KL przechodzi w nieskończoność. Dotyczy to również dystrybucji dyskretnych, co jest Twoim przypadkiem.$x'$$p(x') \neq 0$$q(x') = 0$

Edycja: Być może lepszym wyborem do pomiaru rozbieżności między rozkładami prawdopodobieństwa byłaby tak zwana odległość Wassersteina, która jest metryką i ma lepsze właściwości niż rozbieżność KL. Stał się dość popularny ze względu na swoje zastosowania w głębokim uczeniu się (patrz sieci WGAN)

Aby dodać do doskonałych odpowiedzi Carlosa i Xi'ana , warto również zauważyć, że wystarczającym warunkiem, aby dywergencja KL była skończona, jest to, aby obie zmienne losowe miały tę samą zwartą podporę, a granice gęstości odniesienia były ograniczone . Wynik ten ustanawia również domyślną granicę maksymalnej dywergencji KL (patrz twierdzenie i dowód poniżej).

---

Twierdzenie: Jeśli gęstości i mają to samo zwarte podłoże a gęstość jest ograniczona na tym podłożu (tj. Ma skończoną górną granicę), to .$p$$q$$\mathscr{X}$$p$$KL(P||Q) < \infty$

Dowód: Ponieważ ma kompaktowe wsparcie oznacza to, że istnieje pewna dodatnia wartość minimalna:$q$$\mathscr{X}$

$$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$$

Podobnie, ponieważ ma kompaktowe wsparcie oznacza to, że istnieje pewna dodatnia wartość supremum:$p$$\mathscr{X}$

$$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$$

Ponadto, ponieważ oba są gęstościami na tym samym wsparciu, a to drugie jest ograniczone, mamy . To znaczy że:$0 < \underline{q} \leqslant \bar{p} < \infty$

$$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$$

Teraz, pozwalając być ostatnią górną granicą, wyraźnie mamy więc że:$\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$$0 \leqslant \underline{L} < \infty$

$$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$$

To ustanawia wymaganą górną granicę, co potwierdza twierdzenie. $\blacksquare$