Wykazać, że maksymalny rozkład entropii ze stałą macierzą kowariancji to gaussa

13

Staram się omijać następujący dowód, że Gaussian ma maksymalną entropię.

Jak ma sens krok oznaczony gwiazdką? Określona kowariancja naprawia tylko drugi moment. Co dzieje się z trzecią, czwartą, piątą chwilą itp.?

entropy information-theory maximum-entropy

— Tarrare
źródło

13

Krok oznaczony gwiazdką jest prawidłowy, ponieważ (a) i mają takie same zero i drugie chwile, a (b) jest funkcją wielomianową składników których warunki mają całkowite stopnie lub . $p$ $q$ $\log(p)$ $\mathbf{x}$ $0$ $2$

Musisz wiedzieć tylko dwie rzeczy o wielowymiarowym rozkładzie normalnym ze średnią zerową:

jest funkcją kwadratową bez terminów liniowych. W szczególności istnieją stałe i dla których $\log(p)$ $\mathbf{x}=(x_1,x_2,\ldots,x_n)$ $C$ $p_{ij}$
$\log (p (x)) = C + \sum_{i, j = 1}^{n} p_{i j} x_{i} x_{j} .$ $\log(p(\mathbf{x}))=C + \sum_{i,j=1}^n p_{ij}\, x_i x_j.$
$C$ $p_{ij}$ $\Sigma$
$\Sigma$
$Σ_{i j} = E_{p} (x_{i} x_{j}) = \int p (x) x_{i} x_{j} d x .$ $\Sigma_{ij}=E_p(x_i x_j) = \int p(\mathbf{x})\, x_ix_j\, d\mathbf{x}.$

Możemy wykorzystać te informacje do opracowania integralnej:

\begin{aligned} \int (q (x) - p (x)) \log (p (x)) d x \\ = & \int (q (x) - p (x)) (C + \sum_{i, j = 1}^{n} p_{i j} x_{i} x_{j}) d x . \end{aligned}

$\eqalign{ & &\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x} \\ &= &\int(q(\mathbf{x}) - p(\mathbf{x}))\left(C + \sum_{i,j=1}^n p_{ij}\, x_i x_j\right)d\mathbf{x}. }$

Łamie się na sumę dwóch części:

$\int(q(x) - p(x))C\, d\mathbf{x} = C\left(\int q(\mathbf{x}) d\mathbf{x} - \int p(\mathbf{x}) d\mathbf{x}\right) = C(1 - 1) = 0$ $q$ $p$
$\int(q(\mathbf{x}) - p(\mathbf{x})) \sum_{i,j=1}^n p_{ij}\, x_i x_jd\mathbf{x} = \sum_{i,j=1}^n p_{ij}\int(q(\mathbf{x}) - p(\mathbf{x}))x_i x_jd\mathbf{x} = 0$ $\int q(\mathbf{x}) x_i x_jd\mathbf{x}$ $\int p(\mathbf{x}) x_i x_jd\mathbf{x}$ $\Sigma_{ij}$

$\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x}=0$ $\int q(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x} = \int p(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x}.$

— Whuber
źródło

1

$q(x)$ $p(x)$ $\sigma_{ij}x_ix_j$ $p(x)$ $p(x)$ $q(x)$

— F. Tusell
źródło