W klasyfikatorze softmax, po co używać funkcji exp do normalizacji?

Dlaczego warto używać softmax zamiast standardowej normalizacji? W obszarze komentarza górnej odpowiedzi na to pytanie @Kilian Batzner podniósł 2 pytania, które również bardzo mnie dezorientują. Wydaje się, że nikt nie wyjaśnia tego, oprócz korzyści liczbowych.

Dostaję powody, dla których korzystam z Cross-Entropy Loss, ale jak to się ma do softmax? Powiedziałeś „funkcja softmax może być postrzegana jako próba zminimalizowania entropii krzyżowej między przewidywaniami a prawdą”. Załóżmy, że użyłbym normalizacji standardowej / liniowej, ale nadal korzystałbym ze strat strat krzyżowych. Potem też spróbuję zminimalizować Cross-Entropy. Więc w jaki sposób softmax jest powiązany z Cross-Entropy, z wyjątkiem korzyści numerycznych?

Co do poglądu probabilistycznego: jaka jest motywacja do przyjrzenia się prawdopodobieństwom dziennika? Rozumowanie wydaje się być trochę takie jak: „Używamy e ^ x w softmax, ponieważ interpretujemy x jako log-prawdopodobieństwa”. Z tym samym rozumowaniem, co moglibyśmy powiedzieć, używamy e ^ e ^ e ^ x w softmax, ponieważ interpretujemy x jako log-log-log-prawdopodobieństwa (przesadzając tutaj, oczywiście). Dostaję numeryczne zalety softmax, ale jaka jest teoretyczna motywacja do korzystania z niego?

machine-learning deep-learning

— Hans
źródło

Jest różniczkowalny, prowadzi do nieujemnych wyników (takich, które byłyby konieczne dla prawdopodobieństwa, aby można było obliczyć entropię krzyżową) i zachowuje się jak funkcja maksimum, co jest odpowiednie w ustawieniu klasyfikacji. Witamy na stronie!

— Emre

@ Emre Thanks! Ale co oznacza „zachowuje się jak funkcja maksimum”? Poza tym, jeśli mam inną funkcję, która jest również zróżnicowana, monotoniczny i prowadzi do nieujemnych wyników, czy mogę go użyć do zastąpienia funkcji exp we wzorze?

— Hans

Kiedy normalizujesz używając

, największy argument zostaje zmapowany na 1, podczas gdy reszta zostaje zmapowana na zero, ze względu na wzrost funkcji wykładniczej.

max

$\max$

— Emre

Odpowiedzi:

To coś więcej niż tylko liczba. Szybkie przypomnienie softmax:

P (y = j | x) = \frac{e^{x_{j}}}{\sum_{k = 1}^{K} e^{x_{k}}}

$P(y=j | x) = \frac{e^{x_j}}{\sum_{k=1}^K e^{x_k}}$

Gdzie jest wektorem wejściowym o długości równej liczbie klas $x$ $K$ . Funkcja softmax ma 3 bardzo miłe właściwości: 1. normalizuje dane (generuje właściwy rozkład prawdopodobieństwa), 2. jest różniczkowalna i 3. wykorzystuje wspomniany exp. Kilka ważnych punktów:

Funkcja strat nie jest bezpośrednio związana z softmax. Możesz użyć standardowej normalizacji i nadal używać entropii krzyżowej.
Funkcji „hardmax” (tj. Argmax) nie można rozróżnić. Softmax daje co najmniej minimalne prawdopodobieństwo wszystkim elementom w wektorze wyjściowym, a zatem jest ładnie różnicowalny, stąd termin „miękki” w softmax.
Teraz przechodzę do twojego pytania. w Softmax jest naturalną funkcją wykładniczą. Przed normalizacją przekształcamy jak na wykresie : $e$ $x$ $e^x$

Jeśli wynosi 0, to , jeśli to 1, to , a jeśli to 2, teraz ! Ogromny krok! Jest to tak zwana nieliniowa transformacja naszych nienormalizowanych wyników dziennika. Interesującą właściwością funkcji wykładniczej w połączeniu z normalizacją w softmax jest to, że wysokie wyniki w stają się znacznie bardziej prawdopodobne niż niskie. $x$ $y=1$ $x$ $y=2.7$ $x$ $y=7$ $x$

Przykładem . Powiedz , a wynik logarytmu to wektor $K=4$ $x$ $[2, 4, 2, 1]$ . Wyjście prostej funkcji argmax:

[0, 1, 0, 0]

$[0, 1, 0, 0]$

Argmax jest celem, ale nie można go rozróżnić i nie możemy z nim trenować naszego modelu :( Prosta normalizacja, którą można rozróżnić, generuje następujące prawdopodobieństwa:

[0.2222, 0.4444, 0.2222, 0.1111]

$[0.2222, 0.4444, 0.2222, 0.1111]$

To naprawdę dalekie od argmax! :( Podczas gdy softmax wyprowadza:

[0.1025, 0.7573, 0.1025, 0.0377]

$[0.1025, 0.7573, 0.1025, 0.0377]$

To znacznie bliżej argmax! Ponieważ używamy naturalnego wykładnika, znacznie zwiększamy prawdopodobieństwo największego wyniku i zmniejszamy prawdopodobieństwo niższych wyników w porównaniu ze standardową normalizacją. Stąd „max” w softmax.

— vega
źródło

Świetna informacja. Jednak zamiast używać e, co powiesz na ciągłe powiedzmy 3 lub 4? Czy wynik będzie taki sam?

— Cheok Yan Cheng

@CheokYanCheng, tak. Ale ema ładniejszą pochodną;)

— vega

Widziałem, że wynik softmax jest zwykle używany jako prawdopodobieństwo przynależności do każdej klasy. Jeśli wybór „e” zamiast innej stałej jest arbitralny, nie ma sensu patrzeć na to pod względem prawdopodobieństwa, prawda?

— javierdvalle

@vega Przepraszam, ale wciąż nie rozumiem, jak to odpowiada na pytanie: dlaczego nie użyć e ^ e ^ e ^ e ^ e ^ x z tych samych powodów? Proszę wyjaśnić

— Gulzar,

@jvalle to nie esprawia, że można go interpretować jako prawdopodobieństwo, to fakt, że każdy element wyniku softmax jest ograniczony w [0,1], a całość sumuje się do 1.

— vega

Oprócz wyjaśnień Vegi

zdefiniujmy ogólny softmax:

P (y = j | x) = \frac{ψ^{x_{j}}}{\sum_{k = 1}^{K} ψ^{x_{k}}}

$P(y=j | x) = \frac{\psi^{x_j}}{\sum_{k=1}^K \psi^{x_k}}$ gdzie

ψ

$\psi$ jest stałą> = 1

jeśli $\psi=1$ , to jesteś bardzo daleki od argmax, jak wspomniano @vega.

Załóżmy teraz, że $\psi=100$ , teraz jesteś bardzo blisko argmax, ale masz też naprawdę małe liczby dla wartości ujemnych i duże liczby dla dodatnich. Liczby te łatwo przekraczają limit arytmetyczny liczby zmiennoprzecinkowej (na przykład maksymalny limit numpy float64 wynosi $10^{308}$ ). Ponadto, nawet jeśli wybór wynosi $\psi=e$ który jest znacznie mniejszy niż $100$ , frameworki powinny implementować bardziej stabilną wersję softmax (mnożąc zarówno licznik, jak i mianownik ze stałą $C$ ), ponieważ wyniki stają się zbyt małe, aby móc wyrazić za pomocą taka precyzja.

Więc chcesz wybrać stałą wystarczająco dużą, aby dobrze przybliżać argmax, a także wystarczająco małą, aby wyrazić te duże i małe liczby w obliczeniach.

I oczywiście, $e$ ma również całkiem miły pochodną.

— komunistbakkal
źródło

To pytanie jest bardzo interesujące. Nie znam dokładnego powodu, ale myślę, że można by wyjaśnić użycie funkcji wykładniczej za pomocą następującego powodu. Ten post jest inspirowany mechaniką statystyczną i zasadą maksymalnej entropii.

Będzie to wyjaśnić za pomocą przykładu z $N$ obrazów, które są utworzone z $n_1$ obrazów z grupy $\mathcal{C}_1$ , $n_2$ obrazów z klasy $\mathcal{C}_2$ , ..., a $n_K$ obrazy z klasy $\mathcal{C}_K$ . Następnie zakładamy, że nasza sieć neuronowa była w stanie zastosować nieliniowa przekształcić na zdjęcia, dzięki czemu możemy przypisać poziom energii „” $E_k$ do wszystkich klas. Zakładamy, że energia ta ma skalę nieliniową, co pozwala nam na liniowe rozdzielenie obrazów.

Średnia energia $\bar{E}$ jest powiązana z innymi energiami $E_k$ przez następujący związek

N \bar{E} = \sum_{k = 1}^{K} n_{k} E_{k} . (*)

$\begin{equation} N\bar{E} = \sum_{k=1}^{K} n_k E_k.\qquad (*) \label{eq:mean_energy} \end{equation}$

Jednocześnie widzimy, że całkowitą liczbę obrazów można obliczyć jako następującą sumę

N = \sum_{k = 1}^{K} n_{k} . (* *)

$\begin{equation} N = \sum_{k=1}^{K}n_k.\qquad (**) \label{eq:conservation_of_particles} \end{equation}$

Główną ideą zasady maksymalnej entropii jest to, że liczba obrazów w odpowiednich klasach jest rozdzielona w taki sposób, że liczba możliwych kombinacji dla danej dystrybucji energii jest zmaksymalizowana. Mówiąc prościej, system prawdopodobnie nie przejdzie do stanu, w którym mamy tylko klasę $n_1$ nie przejdzie też do stanu, w którym mamy taką samą liczbę obrazów w każdej klasie. Ale dlaczego tak jest? Gdyby wszystkie obrazy były w jednej klasie, system miałby bardzo niską entropię. Drugi przypadek byłby również bardzo nienaturalną sytuacją. Bardziej prawdopodobne jest, że będziemy mieli więcej zdjęć o umiarkowanej energii i mniej zdjęć o bardzo wysokiej i bardzo niskiej energii.

Entropia wzrasta wraz z liczbą kombinacji, w których możemy podzielić $N$ obrazów na klasy obrazów $n_1$ , $n_2$ , ..., $n_K$ o odpowiedniej energii. Tę liczbę kombinacji podaje współczynnik wielomianowy

(\begin{matrix} N! \\ n_{1}!, n_{2}!, \dots, n_{K}! \end{matrix}) = \frac{N!}{\prod_{k = 1}^{K} n_{k}!} .

$\begin{equation} \begin{pmatrix} N!\\ n_1!,n_2!,\ldots,n_K!\\ \end{pmatrix}=\dfrac{N!}{\prod_{k=1}^K n_k!}. \end{equation}$

Spróbujemy zmaksymalizować tę liczbę, zakładając, że mamy nieskończenie wiele obrazów $N\to \infty$ . Ale jego maksymalizacja ma również ograniczenia równości $(*)$ i $(**)$ . Ten typ optymalizacji nazywany jest optymalizacją ograniczoną. Możemy rozwiązać ten problem analitycznie, stosując metodę mnożników Lagrange'a. Wprowadzamy mnożniki Lagrange'a $\beta$ i $\alpha$ dla ograniczeń równości i wprowadzamy Lagrange Funktion $\mathcal{L}\left(n_1,n_2,\ldots,n_k;\alpha, \beta \right)$ .

L (n_{1}, n_{2}, \dots, n_{k}; α, β) = \frac{N!}{\prod_{k = 1}^{K} n_{k}!} + β [\sum_{k = 1}^{K} n_{k} E_{k} - N \bar{E}] + α [N - \sum_{k = 1}^{K} n_{k}]

$\begin{equation} \mathcal{L}\left(n_1,n_2,\ldots,n_k;\alpha, \beta \right) = \dfrac{N!}{\prod_{k=1}^{K}n_k!}+\beta\left[\sum_{k=1}^Kn_k E_k - N\bar{E}\right]+\alpha\left[N-\sum_{k=1}^{K} n_k\right] \end{equation}$

$N\to \infty$ $n_k \to \infty$

\ln n! = n \ln n - n + O (\ln n) .

$\begin{equation} \ln n! = n\ln n - n + \mathcal{O}(\ln n). \end{equation}$

$\ln n!$ $n\to \infty$

$n_\tilde{k}$

\frac{\partial L}{\partial n_{\tilde{k}}} = - \ln n_{\tilde{k}} - 1 - α + β E_{\tilde{k}} .

$\dfrac{\partial \mathcal{L}}{\partial n_\tilde{k}}=-\ln n_\tilde{k}-1-\alpha+\beta E_\tilde{k}.$

Jeśli ustawimy tę pochodną cząstkową na zero, możemy ją znaleźć

n_{\tilde{k}} = \frac{\exp (β E_{\tilde{k}})}{\exp (1 + α)} . (* * *)

$n_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\exp(1+\alpha)}. \qquad (***)$

$(**)$

\exp (1 + α) = \frac{1}{N} \sum_{k = 1}^{K} \exp (β E_{k}) .

$\exp(1+\alpha)=\dfrac{1}{N}\sum_{k=1}^K\exp(\beta E_k).$

$(***)$

n_{\tilde{k}} = \frac{\exp (β E_{\tilde{k}})}{\frac{1}{N} \sum_{k = 1}^{K} \exp (β E_{k})} .

$n_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\dfrac{1}{N}\sum_{k=1}^K\exp(\beta E_k)}.$

Jeśli zdefiniujemy $n_\tilde{k}/N$ jako prawdopodobieństwo klasy $\mathcal{C}_\tilde{k}$ przez $p_\tilde{k}$ otrzymamy coś, co jest naprawdę podobne do funkcji softmax

p_{\tilde{k}} = \frac{\exp (β {mi}_{\tilde{k}})}{\sum_{k = 1}^{K.} \exp (β {mi}_{k})} .

$p_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\sum_{k=1}^K\exp(\beta E_k)}.$

To pokazuje nam, że funkcja softmax jest funkcją maksymalizującą entropię w rozkładzie obrazów. Od tego momentu sensowne jest wykorzystywanie tego jako dystrybucji obrazów. Jeśli ustawimy $\beta E_\tilde{k}=\boldsymbol{w}^T_k\boldsymbol{x}$ dokładnie otrzymujemy definicję funkcji softmax dla $k^{\text{th}}$ wydajność.

— MachineLearner
źródło