Czy można zastosować rozbieżność KL między rozkładem dyskretnym a ciągłym?

12

Nie jestem matematykiem. Przeszukałem internet o dywergencji KL. Nauczyłem się, że dywergencja KL mierzy utracone informacje, gdy przybliżamy rozkład modelu w odniesieniu do rozkładu wejściowego. Widziałem je między dowolnymi dwoma ciągłymi lub dyskretnymi rozkładami. Czy możemy to zrobić między ciągłym a dyskretnym lub odwrotnie?

distributions mathematical-statistics kullback-leibler

— prakash
źródło

Powiązane: stats.stackexchange.com/q/6907/2970

— kardynał

4

Nie: Rozbieżność KL jest definiowana tylko dla rozkładów na wspólnej przestrzeni. Pyta o gęstość prawdopodobieństwa punktu przy dwóch różnych rozkładach, i . Jeśli jest rozkładem na a rozkładem na , to nie ma sensu dla punktów i nie ma sensu dla punktów . W rzeczywistości nie możemy tego zrobić nawet dla dwóch ciągłych rozkładów w przestrzeniach o różnych wymiarach (lub dyskretnych, ani w żadnym innym przypadku, gdy leżące u podstaw przestrzenie prawdopodobieństwa nie pasują). $x$ $p(x)$ $q(x)$ $p$ $\mathbb{R}^3$ $q$ $\mathbb{Z}$ $q(x)$ $p \in \mathbb{R}^3$ $p(z)$ $z \in \mathbb{Z}$

Jeśli masz na myśli konkretny przypadek, być może uda ci się wymyślić podobny podobieństwo miary między dystrybucjami. Na przykład sensowne może być zakodowanie ciągłego rozkładu pod kodem dla kodu dyskretnego (oczywiście z utraconą informacją), np. Przez zaokrąglenie do najbliższego punktu w przypadku dyskretnym.

— Dougal
źródło

Należy zauważyć, że rozbieżność KL między rozkładami dyskretnymi i absolutnie ciągłymi jest dobrze zdefiniowana.

— Olivier

@Olivier Zwykła definicja wymaga wspólnej dominującej miary, prawda?

— Dougal

1

Masz rację, gdy P i Q są zdefiniowane w różnych przestrzeniach. Ale na wspólnej mierzalnej przestrzeni taka miara zawsze istnieje (na przykład P + Q), a rozbieżność KL nie zależy od konkretnego wyboru miary dominującej.

— Olivier

8

Tak, rozbieżność KL między ciągłymi a dyskretnymi zmiennymi losowymi jest dobrze zdefiniowana. Jeśli i są rozkładami na jakiejś przestrzeni , to zarówno jak i mają gęstości , względem i $P$ $Q$ $\mathbb{X}$ $P$ $Q$ $f$ $g$ $\mu = P+Q$

D_{K L} (P, Q) = \int_{X} f \log \frac{f}{g} d μ .

$D_{KL}(P,Q) = \int_{\mathbb{X}} f \log\frac{f}{g}d\mu.$

Na przykład, jeśli , jest miarą Lebesgue'a, a jest masą punktową przy , to , i $\mathbb{X} = [0,1]$ $P$ $Q = \delta_0$ $0$ $f(x) = 1-\mathbb{1}_{x=0}$ $g(x) = \mathbb{1}_{x=0}$

D_{K L} (P, Q) = \infty .

$D_{KL}(P, Q) = \infty.$

— Olivier
źródło

Jak udowodnić, że jest niezależny od dominującej miary?

\int_{X} f \log \frac{f}{g} d μ

$\int_{\mathbb{X}} f \log\frac{f}{g}d\mu$

— Gabriel Romon

Twierdzenie o zmianie miary.

— Olivier

1

Nie ogólnie. Rozbieżność KL jest

D_{K L} (P | | Q) = \int_{X} \log (\frac{d P}{d Q}) d P

$D_{KL}(P \ || \ Q) = \int_{\mathcal{X}} \log \left(\frac{dP}{dQ}\right)dP$

pod warunkiem że $P$ jest absolutnie ciągły w odniesieniu do $Q$ i oboje $P$ i $Q$ są $\sigma$ - skończony (tj. w warunkach, w których $\frac{dP}{dQ}$ jest dobrze zdefiniowany).

W przypadku „ciągłej do dyskretnej” rozbieżności KL między miarami w jakiejś zwykłej przestrzeni, masz przypadek, w którym miara Lebesgue'a jest absolutnie ciągła w odniesieniu do miary liczenia, ale miara liczenia nie jest $\sigma$ -skończone.

— jtobin
źródło