Funkcja błędu krzyżowej entropii w sieciach neuronowych

115

W MNIST For ML Beginners określają one jako entropię krzyżową

H_{y^{'}} (y) := - \sum_{i} y_{i}^{'} \log (y_{i})

$H_{y'} (y) := - \sum_{i} y_{i}' \log (y_i)$

jest przewidywana wartość prawdopodobieństwa dla klasy i jest prawdziwym prawdopodobieństwo dla tej klasy. $y_i$ $i$ $y_i'$

Pytanie 1

Nie jest to problem, który (w ) może być 0? Oznaczałoby to, że mamy naprawdę zły klasyfikator. Ale pomyśl o błędzie w naszym zestawie danych, np. „Oczywistym” oznaczonym jako . Czy po prostu się zawiesi? Czy wybrany przez nas model (aktywacja softmax na końcu) w zasadzie nigdy nie podaje prawdopodobieństwa 0 dla właściwej klasy? $y_i$ $\log(y_i)$ 13

pytanie 2

Nauczyłem się, że entropia krzyżowa jest zdefiniowana jako

H_{y^{'}} (y) := - \sum_{i} (y_{i}^{'} \log (y_{i}) + (1 - y_{i}^{'}) \log (1 - y_{i}))

$H_{y'}(y) := - \sum_{i} ({y_i' \log(y_i) + (1-y_i') \log (1-y_i)})$

Co jest poprawne? Czy masz jakieś odniesienia do podręczników dla którejkolwiek wersji? Czym różnią się te funkcje pod względem właściwości (jako funkcje błędów w sieciach neuronowych)?

machine-learning tensorflow

— Martin Thoma
źródło

Zobacz także: stats.stackexchange.com/questions/80967/...

— Piotr Migdal

Zobacz także: Kullback-Leibler Divergence Explained post na blogu.

— Piotr Migdal

101

Jednym ze sposobów interpretacji entropii krzyżowej jest postrzeganie jej jako (ujemnego) logarytmu prawdopodobieństwa dla danych $y_i'$ , zgodnie z modelem $y_i$ .

Załóżmy, że masz jakiś ustalony model (inaczej „hipoteza”), który przewiduje dla $n$ klas $\{1,2,\dots, n\}$ ich hipotetyczne prawdopodobieństwo wystąpienia $y_1, y_2,\dots, y_n$ . Załóżmy, że teraz obserwujesz (w rzeczywistości) $k_1$ instancji klasy $1$ , $k_2$ instancji klasy $2$ , $k_n$ instancji klasy $n$ itd. Według twojego modelu prawdopodobieństwo takiego zdarzenia wynosi:

P [d a t a | m o d e l] := y_{1}^{k_{1}} y_{2}^{k_{2}} \dots y_{n}^{k_{n}} .

$P[data|model] := y_1^{k_1}y_2^{k_2}\dots y_n^{k_n}.$ Biorąc logarytm i zmieniając znak:

- \log P [d a t a | m o d e l] = - k_{1} \log y_{1} - k_{2} \log y_{2} - \dots - k_{n} \log y_{n} = - \sum_{i} k_{i} \log y_{i}

$-\log P[data|model] = -k_1\log y_1 -k_2\log y_2 - \dots -k_n\log y_n = -\sum_i k_i \log y_i$ Jeśli teraz podzielisz sumę po prawej stronie przez liczbę obserwacji

N = k_{1} + k_{2} + \dots + k_{n}

$N = k_1+k_2+\dots+k_n$ i oznacz prawdopodobieństwo empiryczne gdy

y_{i}^{'} = k_{i} / N

$y_i'=k_i/N$ , otrzymasz entropię krzyżową:

- \frac{1}{N} \log P [d a t a | m o d e l] = - \frac{1}{N} \sum_{i} k_{i} \log y_{i} = - \sum_{i} y_{i}^{'} \log y_{i} =: H (y^{'}, y)

$-\frac{1}{N} \log P[data|model] = -\frac{1}{N}\sum_i k_i \log y_i = -\sum_i y_i'\log y_i =: H(y', y)$

Ponadto prawdopodobieństwo logarytmiczne zbioru danych dla danego modelu można interpretować jako miarę „długości kodowania” - liczby bitów, które spodziewasz się wydać, aby zakodować te informacje, jeśli schemat kodowania byłby oparty na twojej hipotezie.

Jest to zgodne z obserwacją, że zdarzenie niezależne z prawdopodobieństwem $y_i$ wymaga co najmniej $-\log_2 y_i$ bity kodować (zakładając skutecznego kodowania), a tym samym ekspresję

- \sum_{i} y_{i}^{'} \log_{2} y_{i},

$-\sum_i y_i'\log_2 y_i,$ dosłownie oczekiwany długość kodowania, gdzie długości kodowania zdarzeń są obliczane przy użyciu rozkładu „hipotetycznego”, podczas gdy oczekiwanie jest przejmowane przez rzeczywiste.

Wreszcie, zamiast mówić „miara oczekiwanej długości kodowania”, naprawdę lubię używać nieformalnego terminu „miara zaskoczenia”. Jeśli potrzebujesz wielu bitów do zakodowania oczekiwanego zdarzenia z dystrybucji, dystrybucja jest dla ciebie „naprawdę zaskakująca”.

Mając na uwadze te intuicje, odpowiedzi na pytania można zobaczyć w następujący sposób:

Pytanie 1 . Tak. Jest to problem, gdy odpowiadające $y_i'$ jest niezerowe w tym samym czasie . Odpowiada to sytuacji, w której model uważa, że niektóre klasy mają zerowe prawdopodobieństwo wystąpienia, a jednak klasa pojawia się w rzeczywistości. W rezultacie „niespodzianka” twojego modelu jest nieskończenie wielka: twój model nie uwzględnił tego zdarzenia i teraz potrzebuje nieskończenie wielu bitów, aby go zakodować. Właśnie dlatego otrzymujesz nieskończoność jako swoją entropię krzyżową.

Aby uniknąć tego problemu, musisz upewnić się, że Twój model nie przyjmuje pochopnych założeń, że coś jest niemożliwe, dopóki może się to zdarzyć. W rzeczywistości ludzie używają funkcji sigmoidalnych lub „softmax” jako modeli hipotez, które są wystarczająco zachowawcze, aby pozostawić przynajmniej trochę szansy na każdą opcję.

Jeśli użyjesz jakiegoś innego modelu hipotezy, to od Ciebie zależy uregulowanie go (inaczej „wygładzenie”), aby nie hipotezowało zer w miejscach, w których nie powinno.
Pytanie 2 . W tym wzorze, zwykle przyjmuje się $y_i'$ być albo $0$ albo $1$ , a $y_i$ prawdopodobieństwo, hipotezę modelu dla odpowiedniego wejścia. Jeśli przyjrzysz się uważnie, zobaczysz, że jest to po prostu $-\log P[data|model]$ dla danych binarnych, odpowiednik drugiego równania w tej odpowiedzi.

$\sum_{i} H (y_{i}^{'}, y_{i}),$ $\sum_i H(y_i', y_i),$ $y_i'$ $y_i$ $(y_i', 1-y_i')$ $(y_i, 1-y_i)$

— KT.
źródło

1

y' i = \frac{k i}{N}

$y′i=\frac{ki}{N}$

1

W samouczku MNIST TensorFlow definiują go również w kategoriach wektorów jednogrzanych.

— Lenar Hoyt

N = 1

$N=1$

k_{i} / N

$k_i/N$

„niezależne wydarzenie wymaga ... zakodowania go” - czy mógłbyś wyjaśnić ten fragment?

— Alex

@Alex Może to wymagać dłuższego wyjaśnienia, aby poprawnie zrozumieć - przeczytaj o kodach Shannona-Fano i relacji optymalnego kodowania do równania entropii Shannona. Aby ogłuszyć sprawę, jeśli zdarzenie ma prawdopodobieństwo 1/2, najlepiej postawić kod za pomocą jednego bitu. Jeśli ma prawdopodobieństwo 1/4, powinieneś wydać 2 bity, aby go zakodować itp. Ogólnie, jeśli twój zestaw zdarzeń ma prawdopodobieństwo postaci 1/2 1/2 k, powinieneś dać im długości k - w ten sposób twój kod będzie zbliżyć się do optymalnej długości Shannona.

— KT.

22

$i$ $y_i'$

Oznacza to, że formuła wychwytuje błąd tylko w klasie docelowej. Odrzuca wszelkie pojęcia błędów, które można uznać za „fałszywie dodatnie”, i nie ma znaczenia, w jaki sposób rozkładane są przewidywane prawdopodobieństwa inne niż przewidywane prawdopodobieństwo prawdziwej klasy.

$\sum_i y_i = 1$

Pytanie 1

$y_i$ $log(y_i)$

0 $log(y_i)$ $y_i'=0$ log( max( y_predict, 1e-15 ) )

pytanie 2

$H_{y'}(y) := - \sum_{i} ({y_i' \log(y_i) + (1-y_i') \log (1-y_i)})$

$i$ $i$

Jeśli zmodyfikujesz taką sieć, aby mieć dwa przeciwstawne wyjścia i użyjesz softmax plus pierwsza definicja loglossa, wtedy zobaczysz, że w rzeczywistości jest to ten sam pomiar błędu, ale składany wskaźnik błędu dla dwóch klas w jedno wyjście.

Jeśli istnieje więcej niż jedna klasa do przewidzenia przynależności, a klasy nie są wyłączne, tj. Przykładem może być jedna lub wszystkie klasy w tym samym czasie, wówczas będziesz musiał użyć tego drugiego sformułowania. W przypadku rozpoznawania cyfr nie ma to miejsca (cyfra pisana powinna mieć tylko jedną „prawdziwą” klasę)

— Neil Slater
źródło

i

$i$

\log (y_{i}) = 0

$\log(y_i) = 0$

y_{i} = 0

$y_i = 0$

\log (y_{i})

$\log(y_i)$

@NeilSlater, jeśli klasy nie wykluczają się wzajemnie, wektor wyjściowy dla każdego wejścia może zawierać więcej niż jeden 1, czy powinniśmy użyć drugiej formuły?

— Media

1

@Media: Niezupełnie. Chcesz jednak patrzeć na takie rzeczy, jak hierarchiczna klasyfikacja. . .

— Neil Slater

1

y_{i}^{'}

$y'_i$

y_{i}

$y_i$

y_{i}

$y_i$

11

$y_{true}$ $y_{predict}$ $y_{true}$

Pierwsze pytanie:

Powyższa odpowiedź wyjaśniła tło twojej pierwszej formuły, entropię krzyżową zdefiniowaną w teorii informacji.

Z opinii innej niż teoria informacji:

możesz sprawdzić, czy pierwsza formuła nie ma kary za fałszywą pozytywność (prawda jest fałszywa, ale twój model przewiduje, że ma rację), podczas gdy druga ma karę za fałszywą pozytywność. Dlatego wybór pierwszej formuły lub drugiej wpłynie na twoje metryki (czyli także, jakiej wielkości statystycznej chcesz użyć do oceny modelu).

Jednym słowem:

Jeśli chcesz zaakceptować prawie wszystkich dobrych ludzi jako przyjaciół, ale chcesz zaakceptować, że niektórzy źli ludzie staną się Twoimi przyjaciółmi, użyj pierwszej formuły jako kryterium.

Jeśli chcesz ukarać siebie za akceptowanie złych ludzi na swoich przyjaciół, ale jednocześnie wskaźnik dobrych ludzi akceptujących może być niższy niż pierwszy warunek, użyj drugiej formuły.

Chociaż wydaje mi się, że większość z nas jest krytyczna i chciałaby wybrać drugą (tak wiele pakietów ML zakłada, że jest to entropia krzyżowa).

Drugie Pytanie:

- y_{t r u e} \log (y_{p r e d i c t})

$-y_{true}\log{(y_{predict})}$

\sum_{i}^{n} \sum_{k}^{K} - y_{t r u e}^{(k)} \log (y_{p r e d i c t}^{(k)})

$\sum_i^n \sum_k^K -y_{true}^{(k)}\log{(y_{predict}^{(k)})}$

Zatem, gdy są tylko dwie klasy (K = 2), będziesz miał drugą formułę.

— Sztuczna inteligencja
źródło

5

Te problemy rozwiązuje użycie softmax w tutorialu.

Dla 1) masz rację, że softmax gwarantuje niezerowe wyjście, ponieważ potęguje jego wejście. W przypadku aktywacji, które nie dają tej gwarancji (jak relu), wystarczy dodać bardzo mały dodatni termin do każdego wyjścia, aby uniknąć tego problemu.

Jeśli chodzi o 2), nie są one oczywiście takie same, ale ja załatwiona przeze mnie formuła softmax zajmuje się tym problemem. Jeśli nie użyjesz softmax, spowoduje to, że nauczysz się ogromnych terminów stronniczości, które odgadują 1 dla każdej klasy dla dowolnego wkładu. Ale ponieważ znormalizują softmax we wszystkich klasach, jedynym sposobem na maksymalizację wyniku prawidłowej klasy jest to, aby była ona duża w stosunku do niepoprawnych klas.

— jamesmf
źródło

„masz rację, że softmax gwarantuje niezerowe wyjście” - wiem, że tak jest teoretycznie. Czy w rzeczywistości może się zdarzyć, że (z powodu problemów numerycznych) będzie to 0?

— Martin Thoma,

Dobre pytanie. Zakładam, że jest całkowicie możliwe, aby funkcja wykładnicza generowała wartość 0,0, jeśli dane wejściowe są zbyt małe, aby uzyskać precyzję liczby zmiennoprzecinkowej. Jednak sądzę, że większość implementacji dodaje niewielki dodatni termin, aby zagwarantować niezerowe dane wejściowe.

— jamesmf,

0

$y_i$ $\log(y_i)$

$\log(0)$ $\log(y_i + \epsilon)$

$H_{y'} (y) := - \sum_{i} y_{i}' \log (y_i)$
$H_{y'}(y) := - \sum_{i} ({y_i' \log(y_i) + (1-y_i') \log(1-y_i)})$

(a) jest poprawne w przypadku prognoz wieloklasowych (w rzeczywistości jest to podwójne sumowanie), (b) jest takie samo jak (a) w przypadku prognoz dwuklasowych. Oba są entropijne.

Przykład:

$x_i$ $c_i' \in \{0, 1\}$ $c_i \in [0, 1]$

$c_i'$ $c_i$

$(c_i', c_i)=\{(0, 0.1), (0, 0.4), (0, 0.8), (1, 0.8), (1, 0.2)\}$

$y_i'$ $y_i$

$y_{ik}':=1$ $c_i'=k$ $:=0$
$y_{ik}:=p(k|x_i)$ $x_i$ $k$

$(y_i', y_i)$

$(y_i', y_i)=\{([1, 0], [0.9, 0.1]),$ $([1, 0], [0.6, 0.4]),$ $([1, 0], [0.2, 0.8]),$ $([0, 1], [0.2, 0.8]),$ $([0, 1], [0.8, 0.2])\}$

Zarówno (a), jak i (b) oblicza się jako:

$H_{y'}(y)=-1/5([log(0.9)+log(0.6) + log(0.2)]_{c_i=0} + [log(0.8) + log(0.2)]_{c_i=1}) = 0.352$

Pochodzenie:

$1$ $K$
$(x_i, c_i')$ $c_i' = k$ $y_i'=[0,..,1,0,..]$ $k^{th}$ $y_{ik}'=1$ $y_{ik}=p(k|x_i)$ $(x_i, k)$ $-log(y_{ik})$ $y_{ik} \rightarrow 1 \Rightarrow -log(y_{ik}) \rightarrow 0$

$L(y_i', y_i) = -\sum_{k=1}^{K}y_{ik}'log(y_{ik})$

$y_{ik}' = 1$ $k' \neq k$ $0log(y_{ik'})=0$ $y_{im}'=1$

$L(y_i', y_i)=-log(y_{im})$

Ostateczna formuła obejmująca wszystkie punkty treningowe to:

$H_{y'}(y)=-\sum_{(x_i, y_i')}\sum_{k=1}^{K}y_{ik}'log(y_{ik})$

$y_{i0}' = 1 - y_{i1}'$ $y_{i0} = 1 - y_{i1}$

$\begin{align*} H_{y'}(y)&=-\sum_{(x_i, y_i')}y_{i1}'log(y_{i1})+y_{i0}'log(y_{i0})\\ &=-\sum_{(x_i, y_i')}y_{i1}'log(y_{i1})+(1-y_{i1}')log(1-y_{i1}) \end{align*}$

który jest taki sam jak (b).

Entropia krzyżowa (a) ponad klasami (jedno sumowanie)

Cross-entropia (a) ponad klasami to:

$H_{y'}(y)=-\sum_{k=1}^{K}y_{k}'log(y_{k})$

Ta wersja nie może być używana do zadania klasyfikacji. Pozwala ponownie wykorzystać dane z poprzedniego przykładu:

$(c_i', c_i)=\{(0, 0.1), (0, 0.4), (0, 0.8), (1, 0.8), (1, 0.2)\}$

$y'_0 = 3/5 = 0.6$ $y'_1 = 0.4$

$y_0 = 3/5 = 0.6$ $y_1 = 0.4$

$-y'_0logy_0 - y'_1logy_1 = - 0.6log(0.6) -0.4log(0.4) = 0.292$

$(0, 0.8)$ $(1, 0.2)$ $y'_0$ $y'_1$

$(c_i', c_i)=\{(0, 0.1), (0, 0.4), (0, \color{blue}{0.2}), (1, 0.8), (1, \color{blue}{0.8})\}$

$y'_0$ $y_0=3/5$

— E-mail
źródło