Entropia różnicowa

Entropia różniczkowa RV Gaussa to . Zależy to od , który jest odchyleniem standardowym. $\log_2(\sigma \sqrt{2\pi e})$ $\sigma$

Jeśli znormalizujemy zmienną losową, aby miała wariancję jednostkową, jej entropia różnicowa spadnie. Dla mnie jest to sprzeczne z intuicją, ponieważ złożoność stałej normalizacyjnej Kołmogorowa powinna być bardzo mała w porównaniu ze zmniejszeniem entropii. Można po prostu opracować dekoder kodera, który dzieli / zwielokrotnia stałą normalizującą, aby odzyskać dowolny zestaw danych wygenerowany przez tę losową zmienną.

Prawdopodobnie nie rozumiem. Czy mógłbyś wskazać moją wadę?

information-theory entropy randomness

— Cagdas Ozgenc
źródło

Spróbuję to zrobić, choć jest to nieco powyżej mojej głowy, więc posyp odrobiną soli ...

Nie do końca się mylisz. Myślę, że tam, gdzie upada twój eksperyment myślowy, entropia różnicowa nie jest ograniczającym przypadkiem entropii. Zgaduję, że z tego powodu podobieństwa między nim a złożonością Kołmogorowa zostały utracone.

Powiedzmy, że mamy dyskretną zmienną losową . Możemy obliczyć jego entropię Shannona w następujący sposób, sumując wszystkie możliwe wartości , $X$ $x_i$

H (X) = - \sum_{i} P (X = x_{i}) \log (P (X = x_{i})) .

$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$

Jak dotąd nudno. Powiedzmy teraz, że jest kwantową wersją ciągłej zmiennej losowej - powiedzmy, że mamy funkcję gęstości która generuje próbki z zestawu liczb rzeczywistych, i przekształcamy to w histogram. Będziemy mieli wystarczająco dokładny histogram, że funkcja gęstości jest zasadniczo liniowa. W takim przypadku będziemy mieli entropię coś takiego: gdzie jest szerokością naszych przedziałów histogramu, a jest punktem środkowym każdego z nich. Mamy w tym logarytmie produkt - oddzielmy to i wykorzystajmy właściwość rozkładów prawdopodobieństwa sumujących do 1, aby przenieść go poza sumę, dając nam $X$ $p()$

H (X) \approx - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i}) δ x),

$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$

δ x

$\delta x$

x_{i}

$x_i$

H (X) \approx - \log (δ x) - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i})) .

$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$

Jeśli weźmiemy limit, pozwalając i przekształcając sumowanie w integrację, nasze przybliżenie staje się dokładne i otrzymujemy, $\delta x \rightarrow dx$

H (X) = - \log (d x) - \int_{x} p (X = x) \log (p (X = x)) d x .

$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$

Termin po prawej stronie to entropia różnicowa. Ale spójrz na ten okropny termin. Musimy to zignorować, aby wszystkie nasze odpowiedzi nie były NaN. Obawiam się, że oznacza to, że entropia różnicowa nie jest ograniczającym przypadkiem entropii Shannona. $\log \big( dx \big)$

Tracimy więc niektóre właściwości. Tak, przeskalowanie danych zmienia entropię różnicową - entropia różnicowa jest swego rodzaju miarą tego, jak „ściśle upakowany” jest plik pdf. Jeśli przeskalujesz to, to się zmieni. Inną zabawną właściwością jest to, że może być negatywna, w przeciwieństwie do entropii Shannona - spróbuj ustawić naprawdę bardzo małe i zobacz, co się stanie. Utrata związku ze złożonością Kołmogorowa, myślę, że to tylko kolejna ofiara. $\sigma$

Na szczęście nie jesteśmy całkowicie zagubieni. Rozbieżności między Kullbackiem a Leiblerem, a co za tym idzie wzajemne informacje, są dość dobrze zachowane, ponieważ wszystkie są anulowane. Na przykład możesz obliczyć gdzie jest rozkładem odniesienia - powiedzmy, jednolity. Jest to zawsze dodatnie, a kiedy przeskalujesz zmienną , zmienia ona zarówno i , więc wyniki są znacznie mniej dotkliwe. $\delta$

\int_{x} p (X = x) \log (\frac{p (X = x)}{q (X = x)}) d x

$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$

q (X)

$q(X)$

X

$X$

p (X)

$p(X)$

q (X)

$q(X)$

— Poklepać
źródło

Dzięki. To bardzo interesujące. Nie wiedziałem, że w teorii jest taki chwyt.

— Cagdas Ozgenc

Notacja nie jest tak naprawdę bardzo znacząca, ale możemy zamienić część twojej prezentacji w coś nieco bardziej precyzyjnego. Rzeczywiście, jeśli gęstość jest liczbą całkowitą Riemanna, to jako . Interpretacją tego, co często można zobaczyć, jest to, że bitowa kwantyzacja ciągłej zmiennej losowej ma entropię około .

\log (d x)

$\log(\mathrm d x)$

p (x)

$p(x)$

- \sum_{i} p (x_{i}) δ x \log p (x_{i}) \to h (X)

$-\sum_{i} p(x_i) \delta x \log p(x_i) \to h(X)$

δ x \to 0

$\delta x \to 0$

n

$n$

h (X) + n

$h(X) + n$

— kardynał

@Kardynał. Tak, wiedziałem, że było strasznie dziwną rzeczą, o której mówiłem, kiedy to pisałem. Jednak myślę, że takie postępowanie pomaga naprawdę doprowadzić do domu, dlaczego entropia różnicowa tak naprawdę nie jest entropią.

\log (d x)

$\log(d x)$

— Pat

@Cagdas - Nie wiem, czy nazwałbym to chwytem. Po prostu mierzy inną rzecz. I jak zauważa kardynał, ma pewne zastosowania. To, czy pęknie po zastosowaniu do rozkładu dwumianowego, zależy od tego, jak go zastosujesz :). Prawdopodobnie warto zacząć nowy temat, jeśli nie jesteś pewien.

— Pat

Pomyślałem, że entropia różni się oczywiście od złożoności Kołmogorowa, gdy rozważa się generatory liczb pseudolosowych.

— James Bowery