Czy entropia różnicowa jest zawsze mniejsza niż nieskończoność?

Dla arbitralnej ciągłej zmiennej losowej, powiedzmy , czy jej entropia różnicowa jest zawsze mniejsza niż ? (Jest ok, jeśli jest .) Jeśli nie, jaki jest konieczny i wystarczający warunek, aby był mniejszy niż ? $X$ $\infty$ $-\infty$ $\infty$

entropy information-theory maximum-entropy

— syeh_106
źródło

Próbowałeś jakichś przykładów? Na przykład równomierny rozkład w przedziale długości

L

$L$

— Piotr Migdal

Rzeczywiście, entropia różnicowa rozkładu równomiernego (w dowolnym przedziale skończonym) jest zawsze skończona, tj. Log (L), stąd ograniczona. W rzeczywistości mogłem zidentyfikować 2 klasy rozkładów ciągłych, których entropia jest zawsze ograniczona - (1) każdy rozkład, którego wsparcie jest zawarte w przedziale skończonym, i (2) dowolny rozkład, którego drugi moment jest skończony. Ten pierwszy jest ograniczony przez rozkład równomierny; podczas gdy ten drugi jest ograniczony rozkładem Gaussa.

— syeh_106

W rzeczywistości mogę również zbudować rozkład z nieskończoną drugą chwilą i nadal ma skończoną entropię. Weźmy na przykład f (x) = 3 / (x ^ 2), x> 3. Oczywiście E [X ^ 2] jest nieskończone, ale h (X) ~ = -3,1 nata. Jednak nie byłem w stanie potwierdzić, czy jest to prawdą w przypadku dowolnych ciągłych zmiennych losowych, ani nie podałem przeciwnego przykładu, aby to obalić. Naprawdę doceniłbym to, gdyby ktoś mógł to pokazać.

— syeh_106

Dziękuję za komentarze i linki, Piotr. Nawiasem mówiąc, sprawdziłem również jeden z moich materiałów szkoleniowych i znalazłem dokładnie ten sam przykład dyskretnej zmiennej losowej z nieskończenie licznym wsparciem. Zmotywowany tym, nie jest trudno skonstruować ciągły analog. Odpowiedź na pierwsze pytanie jest więc oczywista. Podsumuję to poniżej dla innych osób, które mogą mieć to samo pytanie. BTW, muszę dokonać korekty w moim drugim komentarzu powyżej, szczególnie dla f (x) = 3 / (x ^ 2), h (X) powinno być dodatnie, tj. 3,1 nata.

— syeh_106

To pytanie i odpowiedź są niejednoznaczne, ponieważ nie określają, w których zestawach należy zastosować granice. Jeśli

jest RV, to ma entropię, kropkę. Jeśli jest to „arbitralne” ciągłe RV, to (oczywiście) nie ma żadnej górnej granicy możliwej. Jakie ograniczenia zamierzasz nałożyć na

? Z komentarzy i odpowiedzi wynika, że możesz chcieć naprawić obsługę

a może nie? Być może chcesz ograniczyć

do tych zmiennych o określonych granicach w określonych momentach? Być może chcesz, aby

był w rodzinie parametrycznej - a może nie? Edytuj to pytanie, aby wyjaśnić.

X

$X$

X

$X$

X

$X$

X

$X$

X

$X$

— whuber

Zastanowiłem się nad tym pytaniem i udało mi się znaleźć kontrprzykład, również dzięki powyższym komentarzom Piotra. Odpowiedź na pierwsze pytanie brzmi „nie” - entropia różnicowa ciągłej zmiennej losowej (RV) nie zawsze jest mniejsza niż . Na przykład rozważ ciągły RV X, którego pdf to $\infty$ dla.

f (x) = \frac{\log (2)}{x \log (x)^{2}}

$f(x) = \frac{\log(2)}{x \log(x)^2}$

x > 2

$x > 2$

Nie jest trudno zweryfikować, że jego entropia różnicowa jest nieskończona. Rośnie jednak dość powoli (ok. Logarytmicznie).

W przypadku drugiego pytania nie znam prostego warunku koniecznego i wystarczającego. Jednak jedna częściowa odpowiedź jest następująca. Sklasyfikuj ciągły RV do jednego z następujących 3 typów w oparciu o jego wsparcie, tj

$\infty$ $-\infty$

A teraz mamy, co następuje -

$\infty$
$\infty$ $\mu$
$\infty$ $\sigma^2$

$log(b-a)$ $1+log(|\mu-a|)$ $\frac{1}{2} log(2{\pi}e\sigma^2)$

f (x) = \frac{3}{x^{2}}

$f(x) = \frac{3}{x^2}$

x > 3

$x > 3$

f (x) = \frac{9}{| x |^{3}}

$f(x) = \frac{9}{|x|^3}$

| x | > 3

$|x| > 3$

— syeh_106
źródło

⟨ x^{α} ⟩

$\langle x^\alpha \rangle$

α > 0

$\alpha>0$

Dziękuję Piotrowi za porady na temat polityki SE. (Tak, oczywiście jestem tu nowy). Co do skończonych chwil prowadzących do ograniczonej entropii, czy podzieliłbyś się swoim dowodem? Dzięki!

— syeh_106

@PiotrMigdal Planuję pozostawić odpowiedź na to pytanie w obecnym stanie po dodaniu ostatniego akcentu. Zmotywowany powyższym komentarzem Piotra, zastanowiłem się, czy skończony środek prowadzi do skończonej entropii. Ogólnie nie mogłem tego wywnioskować. Odkryłem, że to prawda, że wsparcie RV jest w połowie ograniczone. Zobacz poprawioną odpowiedź powyżej. Z niecierpliwością czekam na lepszą odpowiedź od kogoś.

— syeh_106

„Nietrudno zweryfikować, że entropia różnicowa jest nieskończona”. Czy możesz pokazać, jak to sprawdzić? Wydaje się, że jest to prawda dla całki Riemanna, ale entropia różnicowa dotyczy miary Lebesgue'a. Mam problem z weryfikacją, czy odpowiednia całka Lebesgue'a nie jest zbieżna.

— kantorhead

X

$X$

E [X]

$\mathrm{E}[X]$

H (X) = \log (4 π)

$H(X)=\log(4\pi)$