Jaki rozkład ma maksymalną entropię dla znanego średniego bezwzględnego odchylenia?

Czytałem dyskusję w Hacker News na temat stosowania standardowego odchylenia w przeciwieństwie do innych wskaźników, takich jak średnie bezwzględne odchylenie. A więc, jeśli mielibyśmy przestrzegać zasady maksymalnej entropii, z jakiego rodzaju rozkładu korzystalibyśmy, gdybyśmy tylko znali średnią rozkładu i średnie bezwzględne odchylenie?

Czy może bardziej sensowne jest zastosowanie mediany i średniego bezwzględnego odchylenia od mediany?

Znalazłem artykuł Zasada maksymalnej entropii ze środkami ogólnego odchylenia autorstwa Grechuka, Molyboha i Zabarankina, który wydaje się mieć informacje, którymi jestem ciekawy, ale ich odczytanie zajmuje mi trochę czasu.

distributions maximum-entropy mad

— Dietrich Epp
źródło

Interesujące pytanie; witamy w Cross Validated!

— Nick Stauner

Ci mądrzy panowie, Kotz, S., Kozubowski, TJ, i Podgorski, K. (2001). Dystrybucja i uogólnienia Laplace'a: powtórka z aplikacjami do komunikacji, ekonomii, inżynierii i finansów (nr 183). Skoczek.

rzuć nam wyzwanie poprzez ćwiczenie:

wprowadź opis zdjęcia tutaj

Dowód może być zgodny z dowodem teoretycznym, że Normalna jest maksymalną entropią dla danej wartości średniej i wariancji. W szczególności: Niech będzie powyższą gęstością Laplace'a, a będzie dowolną inną gęstością, ale mającą tę samą średnią i średnią bezwzględną odchyłkę. Oznacza to, że obowiązuje następująca równość: $f(x)$ $g(x)$

{mi}_{sol} (| X - {do}_{1} |) = \int sol (x) | x - {do}_{1} | re x = {do}_{2)} = \int fa (x) | x - {do}_{1} | re x = {mi}_{fa} (| X - {do}_{1} |) [1]

$E_g(|X-c_1|)=\int g(x)|x-c_1|dx=c_2 =\int f(x)|x-c_1|dx =E_f(|X-c_1|)\qquad [1]$ Rozważmy teraz rozbieżność Kullbacka-Leiblera dwóch gęstości:

0 \leq {re}_{K. L.} (sol | | fa) = \int sol (x) \ln (\frac{sol (x)}{fa (x)}) re x = \int sol (x) \ln sol (x) re x - \int sol (x) \ln fa (x) re x [2)]

$0\le D_{KL}(g||f) = \int g(x)\ln\left(\frac {g(x)}{f(x)}\right)dx = \int g(x)\ln g(x)dx -\int g(x)\ln f(x)dx \qquad [2]$

Pierwsza całka jest ujemna z (różnicowej) entropii , oznacza to . Druga całka to (wyraźne pisanie Laplacian pdf) $g$ $-h(g)$

\int sol (x) \ln [fa (x)] re x = \int sol (x) \ln [\frac{1}{2) {do}_{2)}} \exp {- \frac{1}{{do}_{2)}} | x - {do}_{1} |}] re x

$\int g(x)\ln[f(x)]dx = \int g(x)\ln\left[\frac{1}{2c_2}\exp\left\{-\frac 1{c_2} |x-c_1|\right\}\right]dx$

= \ln [\frac{1}{2) {do}_{2)}}] \int sol (x) re x - \frac{1}{{do}_{2)}} \int sol (x) | x - {do}_{1} | re x

$=\ln\left[\frac{1}{2c_2}\right]\int g(x)dx- \frac 1{c_2}\int g(x)|x-c_1|dx$ Pierwsza całka integruje się z jednością i używa również eq. otrzymujemy

[1]

$[1]$

\int sol (x) \ln [fa (x)] re x = - \ln [2) {do}_{2)}] - \frac{1}{{do}_{2)}} \int fa (x) | x - {do}_{1} | re x = - (\ln [2) {do}_{2)}] + 1)

$\int g(x)\ln[f(x)]dx = -\ln\left[2c_2\right] - \frac 1{c_2}\int f(x)|x-c_1|dx = -(\ln\left[2c_2\right] +1)$ Ale to jest minus entropii różnicowej Laplaciana, oznacz to .

- h (f)

$-h(f)$

Wstawienie tych wyników do ekw. mamy Ponieważ był arbitralny, dowodzi to, że powyżej gęstości Laplaciana jest maksymalna entropia wśród wszystkich rozkładów z powyższymi zaleceniami. $[2]$

0 \leq re (sol | | fa) = - h (sol) - (- h (fa)) \Rightarrow h (sol) \leq h (fa)

$0\le D(g||f) = -h(g) - (-h(f)) \Rightarrow h(g) \le h(f)$

g

$g$

— Alecos Papadopoulos
źródło

Taka prosta dystrybucja i miły napis! Podejrzewałem, że rozkład będzie gładki, z wyjątkiem 0

— Dietrich Epp

Dzięki. Kiedyś „to samo idzie z tym samym”, więc ponieważ rozkład Laplace'a obejmuje wartość bezwzględną, był to główny podejrzany.

— Alecos Papadopoulos