Dlaczego de facto standardowa funkcja sigmoidalna tak popularna w (nie-głębokich) sieciach neuronowych i regresji logistycznej?$\frac{1}{1+e^{-x}}$

Dlaczego nie używamy wielu innych pochodnych funkcji, z szybszym czasem obliczeń lub wolniejszym rozpadem (więc zanikający gradient występuje mniej). Na Wikipedii jest niewiele przykładów dotyczących funkcji sigmoidalnych . Jednym z moich ulubionych z powolnym rozkładem i szybkimi obliczeniami jest .$\frac{x}{1+|x|}$

EDYTOWAĆ

Pytanie różni się od kompleksowej listy funkcji aktywacyjnych w sieciach neuronowych z zaletami / wadami, ponieważ interesuje mnie tylko „dlaczego” i tylko sigmoid.

Cytując siebie z tej odpowiedzi na inne pytanie:

W sekcji 4.2 Rozpoznawania wzorców i uczenia maszynowego (Springer 2006) Bishop pokazuje, że logit powstaje naturalnie jako forma późniejszego rozkładu prawdopodobieństwa w bayesowskim traktowaniu klasyfikacji dwuklasowej. Następnie pokazuje, że to samo dotyczy dyskretnie rozłożonych cech, a także podzbioru rodziny rozkładów wykładniczych. W przypadku klasyfikacji wielu klas logit uogólnia się na znormalizowaną funkcję wykładniczą lub softmax.

To wyjaśnia, dlaczego sigmoid jest wykorzystywany w regresji logistycznej.

W odniesieniu do sieci neuronowych ten post na blogu wyjaśnia, w jaki sposób różne nieliniowości, w tym logit / softmax i probit stosowane w sieciach neuronowych, mogą być interpretowane statystycznie, a tym samym motywowane. Podstawową ideą jest to, że wielowarstwową sieć neuronową można uznać za hierarchię uogólnionych modeli liniowych; zgodnie z tym funkcje aktywacyjne są funkcjami łączącymi, które z kolei odpowiadają różnym założeniom dystrybucyjnym.

Jednym z powodów, dla których ta funkcja może wydawać się bardziej „naturalna” niż inne, jest fakt, że jest ona odwrotnością parametru kanonicznego rozkładu Bernoulliego: (Funkcjapwewnątrz wykładnika nazywa się parametrem kanonicznym.)

Być może bardziej przekonujące uzasadnienie pochodzi z teorii informacji, w której funkcję sigmoidalną można uzyskać jako model maksymalnej entropii . Z grubsza mówiąc, funkcja sigmoidalna przyjmuje minimalną strukturę i odzwierciedla nasz ogólny stan niewiedzy na temat podstawowego modelu.

Zadawałem sobie to pytanie od miesięcy. Odpowiedzi na CrossValidated i Quora wszystkie zawierają ładne właściwości logistycznej funkcji sigmoid, ale wydaje się, że sprytnie odgadliśmy tę funkcję. Brakowało mi uzasadnienia wyboru. W końcu znalazłem jeden w sekcji 6.2.2.2 książki „Głębokie uczenie się” autorstwa Bengio (2016) . W moich własnych słowach:

Krótko mówiąc, chcemy, aby logarytm danych wyjściowych modelu był odpowiedni do opartej na gradiencie optymalizacji prawdopodobieństwa danych szkoleniowych.

Motywacja

• Chcemy modelu liniowego, ale nie możemy użyć $z = w^T x + b$ bezpośrednio jako $z \in (-\infty, +\infty)$ .
• Do klasyfikacji sensowne jest założenie rozkładu Bernoulliego i modelowanie jego parametru $\theta$ w $P(Y=1) = \theta$ .
• Musimy więc zmapować $z$ od $(-\infty, +\infty)$ do $[0, 1]$ aby dokonać klasyfikacji.

Dlaczego logistyczna funkcja sigmoidalna?

Odcięcie $z$ pomocą $P(Y=1|z) = max\{0, min\{1, z\}\}$ daje zerowy gradient dla $z$ poza $[0, 1]$ . Potrzebujemy silnego gradientu, gdy prognoza modelu jest błędna, ponieważ rozwiązujemy regresję logistyczną z opadaniem gradientu. W przypadku regresji logistycznej nie ma rozwiązania w formie zamkniętej.

Funkcja logistyczna ma fajną właściwość polegającą na asymptotowaniu stałego gradientu, gdy prognoza modelu jest błędna, biorąc pod uwagę, że do dopasowania modelu używamy oszacowania maksymalnej wiarygodności. Jest to pokazane poniżej:

W przypadku korzyści numerycznych można oszacować maksymalne prawdopodobieństwo poprzez zminimalizowanie ujemnego prawdopodobieństwa logarytmu danych treningowych. Nasza funkcja kosztów to:

Ponieważ $P(Y=0 | z) = 1-P(Y=1|z)$ , możemy skupić się na przypadku $Y=1$ . Pytanie brzmi więc, jak modelować $P(Y=1 | z)$ biorąc pod uwagę, że mamy $z = w^T x + b$ .

Oczywiste wymagania dla funkcji $f$ mapowania $z$ na $P(Y=1 | z)$ to:

• $\forall z \in \mathbb{R}: f(z) \in [0, 1]$
• $f(0) = 0.5$
• $f$ powinno być obrotowo symetryczne wrt$(0, 0.5)$ , tj.$f(-x) = 1-f(x)$ , aby odwrócenie znaków klas nie miało wpływu na funkcję kosztu.
• $f$ powinien być nie malejący, ciągły i zróżnicowany.

Wszystkie te wymagania są spełnione przez przeskalowanie funkcji sigmoid . Zarówno $f(z) = \frac{1}{1 + e^{-z}}$ oraz$f(z) = 0.5 + 0.5 \frac{z}{1+|z|}$spełnij je. Funkcje sigmoidów różnią się jednak pod względem zachowania podczas optymalizacji prawdopodobieństwa dziennika na podstawie gradientu. Widzimy różnicę, podłączając funkcję logistyczną$f(z) = \frac{1}{1 + e^{-z}}$ do naszej funkcji kosztów.

Nasycenie dla $Y=1$

Dla $P(Y=1|z) = \frac{1}{1 + e^{-z}}$ oraz$Y=1$, koszt pojedynczej źle sklasyfikowanej próbki (tj.$m=1$) wynosi:

$-z$

• $z$$Y=1$$\log(1 + e^z)$$z$$z$$-z$
• $z$$|z|$$Y=1$$\log(1 + e^z)$$0$$z$$-z$$z$$-1$$z$, nie zachodzi nasycenie, które spowodowałoby zanikanie gradientów.

$Y=0$

$Y=1$$Y=0$

$J(z)$$Y=1$

$Y=0$

Alternatywy

$\frac{z}{1+|z|}$$[0,1]$$P(Y=1|z) = 0.5 + 0.5 \frac{z}{1+|z|}$

$Y=1$

$J(z) = - \log (0.5 + 0.5 \frac{z}{1+|z|})$

który wygląda następująco:

$z \rightarrow - \infty$

Ponieważ w pierwotnym pytaniu wspomniano o problemie z rozkładającym się gradientem, chciałbym tylko dodać, że w przypadku warstw pośrednich (gdzie nie trzeba interpretować aktywacji jako prawdopodobieństwa klasowego lub wyników regresji), inne nieliniowości są często lepsze niż funkcje sigmoidalne. Najważniejsze są funkcje prostownika (jak w ReLU ), które są liniowe w dziedzinie dodatniej i zero w zakresie ujemnym. Jedną z ich zalet jest to, że są mniej podatni na rozkładające się gradienty, ponieważ pochodna jest stała w domenie dodatniej. ReLU stały się popularne do tego stopnia, że ​​sigmoidy prawdopodobnie nie mogą być już nazywane de facto standardem.

Glorot i in. (2011) . Głębokie rzadkie sieci neuronowe prostowników