Jaka jest maksymalna funkcja gęstości prawdopodobieństwa entropii dla dodatniej zmiennej ciągłej danej średniej i odchylenia standardowego?

13

Jaki jest maksymalny rozkład entropii dla dodatniej zmiennej ciągłej, biorąc pod uwagę jej pierwszy i drugi moment?

Na przykład rozkład Gaussa jest maksymalnym rozkładem entropii dla zmiennej niezwiązanej, biorąc pod uwagę jego średnią i odchylenie standardowe, a rozkład gamma jest maksymalnym rozkładem entropii dla zmiennej dodatniej, biorąc pod uwagę jego średnią wartość i średnią wartość jego logarytmu.

— becko
źródło

13

Można po prostu użyć twierdzenia Boltzmanna, które znajduje się w samym artykule w Wikipedii, na który wskazujesz .

Zauważ, że określenie średniej i wariancji jest równoważne z określeniem dwóch pierwszych nieprzetworzonych momentów - każdy określa drugi (w rzeczywistości nie jest konieczne przywołanie tego, ponieważ możemy zastosować twierdzenie bezpośrednio do średniej i wariancji, jest to po prostu nieco prostsze w ten sposób ).

Twierdzenie to następnie stwierdza, że gęstość musi mieć postać:

f (x) = c \exp (λ_{1} x + λ_{2} x^{2}) for all x \geq 0

$f(x)=c \exp\left(\lambda_1 x + \lambda_2 x^2 \right)\quad \mbox{ for all } x \geq 0$

Całkowalność powyżej dodatniej linii rzeczywistej ograniczy do , i myślę, że nakłada pewne ograniczenia na relacje między (które prawdopodobnie zostaną spełnione automatycznie, gdy zaczniemy od określonej średniej i wariancji, a nie surowych momentów). $\lambda_2$ $\leq 0$ $\lambda$

Ku mojemu zdziwieniu (ponieważ nie spodziewałbym się tego, kiedy zacząłem tę odpowiedź), wydaje się, że pozostawia to nas z obciętym rozkładem normalnym.

Tak się składa, że nie sądzę, że wcześniej użyłem tego twierdzenia, więc mile widziane byłyby krytyki lub pomocne sugestie dotyczące czegokolwiek, czego nie rozważałem lub pominąłem.

— Glen_b - Przywróć Monikę
źródło

+1 dzięki. Wydaje się w porządku. Kiedy czytam artykuł z Wikipedii, wydaje mi się, że przegapiłem fakt, że twierdzenie Boltzmanna ma zastosowanie do wszystkich zamkniętych przedziałów. Przypuszczałem, że stosowane tylko do zmiennych, począwszy od

do

.

- \infty

$-\infty$

\infty

$\infty$

— becko

x

$x$

1 / x

$1/x$

\frac{1}{x} \exp (- α x - β x^{2})

$\frac{1}{x}\exp(-\alpha x- \beta x^2)$

7

Chcę uściślić odpowiedź @ Glen_b, oto dodatkowa odpowiedź tylko dlatego, że nie pasuje do komentarza.

f (x) \propto N (x | - 1 / 2 λ_{1} / λ_{2}, - 1 / (2 λ_{2}))

$f(x) \propto \mathcal{N}(x | -1/2 \lambda_1/\lambda_2, -1/(2\lambda_2))$

λ_{1}

$\lambda_1$

λ_{2}

$\lambda_2$

a_{1}, a_{2}

$a_1, a_2$

a_{1} = μ, a_{2} = μ^{2} + σ^{2}

$a_1=\mu, a_2=\mu^2 + \sigma^2$

λ_{1} = μ / σ^{2}, λ_{2} = - 0.5 σ^{2}

$\lambda_1=\mu/\sigma^2, \lambda_2=-0.5 \sigma^2$

N (x | μ, σ^{2})

$\mathcal{N}(x|\mu, \sigma^2)$

$x>x_{min}$ $\lambda_{1,2}$ $1/c$ $\mu$ $\sigma^2$ $x_{min}=0$ $x_{min} \to -\infty$

$a_1, a_2$ $\lambda_{1,2}$ $\lambda_{1,2}$

To pytanie jest duplikatem /math/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0

— Fred Schoen
źródło