Dlaczego średni błąd kwadratowy jest entropią krzyżową między rozkładem empirycznym a modelem Gaussa?

28

W 5.5, Deep Learning (autor: Ian Goodfellow, Yoshua Bengio i Aaron Courville) stwierdza, że

Każda strata polegająca na ujemnym logarytmicznym prawdopodobieństwie jest entropią krzyżową między rozkładem empirycznym określonym przez zestaw szkoleniowy a rozkładem prawdopodobieństwa określonym przez model. Na przykład średni błąd kwadratu jest entropią krzyżową między rozkładem empirycznym a modelem Gaussa.

Nie rozumiem, dlaczego są one równoważne, a autorzy nie zajmują się tym tematem.

machine-learning normal-distribution cross-entropy

— Mufei Li
źródło

32

Niech dane to . Napisz dla rozkładu empirycznego. Definicji dla każdej funkcji , $\mathbf{x}=(x_1, \ldots, x_n)$ $F(\mathbf{x})$ $f$

E_{F (x)} [f (X)] = \frac{1}{n} \sum_{i = 1}^{n} f (x_{i}) .

$\mathbb{E}_{F(\mathbf{x})}[f(X)] = \frac{1}{n}\sum_{i=1}^n f(x_i).$

Niech model ma gęstość gdzie jest zdefiniowane na podporze modelu. Przekroju entropia z , a jest zdefiniowane jako $M$ $e^{f(x)}$ $f$ $F(\mathbf{x})$ $M$

\begin{matrix} (1) & H (F (x), M) = - E_{F (x)} [\log (e^{f (X)}] = - E_{F (x)} [f (X)] = - \frac{1}{n} \sum_{i = 1}^{n} f (x_{i}) . \end{matrix}

$H(F(\mathbf{x}), M) = -\mathbb{E}_{F(\mathbf{x})}[\log(e^{f(X)}] = -\mathbb{E}_{F(\mathbf{x})}[f(X)] =-\frac{1}{n}\sum_{i=1}^n f(x_i).\tag{1}$

Zakładając, że jest prostą próbą losową, jej prawdopodobieństwo dziennika ujemnego wynosi $x$

\begin{matrix} (2) & - \log (L (x)) = - \log \prod_{i = 1}^{n} e^{f (x_{i})} = - \sum_{i = 1}^{n} f (x_{i}) \end{matrix}

$-\log(L(\mathbf{x}))=-\log \prod_{i=1}^n e^{f(x_i)} = -\sum_{i=1}^n f(x_i)\tag{2}$

ze względu na właściwości logarytmów (konwertują produkty na sumy). Wyrażenie jest stałym wyrażeniem razy . Ponieważ funkcje strat są wykorzystywane w statystykach tylko poprzez ich porównywanie, nie ma znaczenia, że jedna jest (dodatnią) stałą razy druga. W tym sensie prawdopodobieństwo logarytmu ujemnego „jest” entropią krzyżową w cytacie. $(2)$ $n$ $(1)$

Potrzeba nieco więcej wyobraźni, aby uzasadnić drugie twierdzenie cytatu. Związek z błędem do kwadratu jest jasny, ponieważ dla „modelu Gaussa”, który przewiduje wartości w punktach , wartość w dowolnym takim punkcie wynosi $p(x)$ $x$ $f$

f (x; p, σ) = - \frac{1}{2} (\log (2 π σ^{2}) + \frac{(x - p (x))^{2}}{σ^{2}}),

$f(x; p, \sigma) = -\frac{1}{2}\left(\log(2\pi \sigma^2) + \frac{(x-p(x))^2}{\sigma^2}\right),$

który jest kwadratem błędu ale przeskalowany o i przesunięty o funkcję . Jednym ze sposobów poprawienia wyceny jest założenie, że częścią „modelu” - musi być jakoś określona niezależnie od danych. W takim przypadku różnice między średnimi błędami do kwadratu są proporcjonalne do różnic między entropiami krzyżowymi lub prawdopodobieństwami logarytmicznymi, tym samym czyniąc wszystkie trzy równoważne dla celów dopasowania modelu. $(x-p(x))^2$ $1/(2\sigma^2)$ $\sigma$ $\sigma$ $\sigma$

(Zwykle jednak nadaje się jako część procesu modelowania, w którym to przypadku cytat nie byłby całkiem poprawny.) $\sigma = \sigma(x)$

— Whuber
źródło

1

+1 z dwiema sugestiami - można użyć zamiast aby uniknąć pomyłki z . Drugi to większość szacunków będzie . Po podłączeniu i dodaniu go otrzymujesz . Podobne do formuły typu AIC ...

g ()

$g ()$

f ()

$f ()$

F ()

$F ()$

σ^{2}

$\sigma^2$

k \sum_{i = 1}^{n} {(x_{i} - p (x_{i}))}^{2}

$k\sum_{i=1}^n \left (x_i - p (x_i)\right)^2$

- \frac{1}{2} \log [\sum_{i = 1}^{n} {(x_{i} - p (x_{i}))}^{2}] + h (k)

$-\frac {1}{2}\log\left [\sum_{i=1}^n \left (x_i - p (x_i)\right)^2\right] +h(k)$

— prawdopodobieństwo jest

@probabilityislogic wybrać parę i , ponieważ nie stanowią ściśle związane ilości.

F

$F$

f

$f$

— whuber

Cześć, myślę, że dotyczy to tylko rozkładu liniowego. W przypadku problemów z nieliniową dystrybucją myślę, że nadal możemy używać MSE jako funkcji kosztów, prawda?

— Lion Lai

5

Dla czytelników książki Deep Learning chciałbym dodać do doskonale przyjętej odpowiedzi, którą autorzy szczegółowo wyjaśniają w swoich wypowiedziach w rozdziale 5.5.1, a mianowicie przykład: regresja liniowa jako maksymalne prawdopodobieństwo .

Podają tam dokładnie ograniczenie wymienione w zaakceptowanej odpowiedzi:

$p(y | x) = \mathcal{N}\big(y; \hat{y}(x; w), \sigma^2\big)$ . Funkcja daje prognozę średniej Gaussa. W tym przykładzie zakładamy, że wariancja jest ustalona na pewną stałą wybraną przez użytkownika. $\hat{y}(x; w)$ $\sigma^2$

Następnie pokazują, że minimalizacja MSE odpowiada oszacowaniu maksymalnego prawdopodobieństwa, a tym samym minimalizacji entropii krzyżowej między rozkładem empirycznym a . $p(y|x)$

— Kilian Batzner
źródło