Dlaczego tanh prawie zawsze jest lepszy niż sigmoid jako funkcja aktywacyjna?

W Andrzej zNg sieci neuronowe i głęboki learning na Coursera mówi, że przy $tanh$ jest prawie zawsze korzystniejsze $sigmoid$ .

Powodem jest to, że daje on wyjść przy użyciu $tanh$ centrum niż około 0 $sigmoid$ „a 0,5, a to«sprawia, że uczenie się do następnej warstwy trochę łatwiejsze».

1. Dlaczego centrowanie uczenia się prędkości wyjściowej aktywacji? Zakładam, że odnosi się on do poprzedniej warstwy, ponieważ nauka odbywa się podczas backprop?

2. Czy są jakieś inne cechy, które sprawiają, $tanh$ korzystne? Czy bardziej stromy gradient opóźniałby zanikanie gradientów?

3. Są sytuacje, w których nie wszystkie $sigmoid$ byłoby korzystne?

Preferowane są matematyczne, intuicyjne odpowiedzi.

Yan LeCun i inni argumentują w Efficient BackProp to

Konwergencja jest zwykle szybsza, jeśli średnia każdej zmiennej wejściowej w zestawie treningowym jest bliska zeru. Aby to zobaczyć, rozważ ekstremalny przypadek, w którym wszystkie dane wejściowe są dodatnie. Wagi dla określonego węzła w pierwszej warstwie wagi są aktualizowane o kwotę proporcjonalną do $\delta x$ gdzie $\delta$ jest błędem (skalarnym) w tym węźle, a $x$ jest wektorem wejściowym (patrz równania (5) i (10)). Gdy wszystkie składniki wektora wejściowego są dodatnie, wszystkie aktualizacje wag, które zasilają węzeł, będą miały ten sam znak (tj. Znak ( $\delta$ )). W rezultacie te ciężary mogą tylko zmniejszyć się lub wzrosnąć łączniedla danego wzorca wejściowego. Zatem, jeśli wektor ciężaru musi zmienić kierunek, może to zrobić tylko poprzez zygzakowanie, co jest nieefektywne, a zatem bardzo wolne.

Dlatego powinieneś znormalizować swoje dane wejściowe, aby średnia wynosiła zero.

Ta sama logika dotyczy warstw środkowych:

Tę heurystykę należy zastosować na wszystkich warstwach, co oznacza, że ​​chcemy, aby średnia wyników węzła była bliska zeru, ponieważ te dane wyjściowe są danymi wejściowymi do następnej warstwy.

Postscript @craq wskazuje, że ten cytat nie ma sensu dla ReLU (x) = max (0, x), który stał się bardzo popularną funkcją aktywacyjną. Chociaż ReLU unika pierwszego zygzakowatego problemu wspomnianego przez LeCun, nie rozwiązuje tego drugiego punktu przez LeCun, który mówi, że ważne jest, aby przesunąć średnią na zero. Chciałbym wiedzieć, co LeCun ma do powiedzenia na ten temat. W każdym razie istnieje artykuł o nazwie Batch Normalization , który jest oparty na pracy LeCun i oferuje sposób rozwiązania tego problemu:

Od dawna wiadomo (LeCun i in., 1998b; Wiesler i Ney, 2011), że trening sieci zbiega się szybciej, jeśli jego dane wejściowe są bielone - tj. Liniowo przekształcane w celu uzyskania zerowych średnich i wariancji jednostek i dekorelowane. Ponieważ każda warstwa obserwuje nakłady wytwarzane przez poniższe warstwy, korzystne byłoby uzyskanie takiego samego wybielenia nakładów każdej warstwy.

Nawiasem mówiąc, ten film Siraja wyjaśnia wiele na temat funkcji aktywacyjnych w 10 zabawnych minut.

@elkout mówi „Prawdziwym powodem, dla którego tanh jest preferowany w porównaniu do sigmoidu (...), jest to, że pochodne tanh są większe niż pochodne sigmoidu”.

Myślę, że to nie jest problem. Nigdy nie widziałem, aby był to problem w literaturze. Jeśli przeszkadza Ci, że jedna pochodna jest mniejsza od innej, możesz ją po prostu skalować.

Funkcja logistyczna ma kształt $\sigma(x)=\frac{1}{1+e^{-kx}}$ . Zwykle używamy$k=1$, ale nic nie zabrania ci używania innej wartości dla$k$aby poszerzyć pochodne, jeśli to był twój problem.

Nitpick: tanh jest również funkcją sigmoidalną . Każda funkcja o kształcie S jest sigmoidem. To, co nazywacie sigmoid, to funkcja logistyczna. Powodem, dla którego funkcja logistyczna jest bardziej popularna, są przyczyny historyczne. Od dłuższego czasu jest używany przez statystyków. Poza tym niektórzy uważają, że jest to bardziej prawdopodobne biologicznie.

It's not that it is necessarily better than $\text{sigmoid}$. In other words, it's not the center of an activation fuction that makes it better. And the idea behind both functions is the same, and they also share a similar "trend". Needless to say that the $\tanh$ function is called a shifted version of the $\text{sigmoid}$ function.

The real reason that $\text{tanh}$ is preferred compared to $\text{sigmoid}$, especially when it comes to big data when you are usually struggling to find quickly the local (or global) minimum, is that the derivatives of the $\text{tanh}$ are larger than the derivatives of the $\text{sigmoid}$. In other words, you minimize your cost function faster if you use $\text{tanh}$ as an activation fuction.

But why does the hyperbolic tangent have larger derivatives? Just to give you a very simple intuition you may observe the following graph:

The fact that the range is between -1 and 1 compared to 0 and 1, makes the function to be more convenient for neural networks. Apart from that, if I use some math, I can prove that:

And in general, we may prove that in most cases $\Big|\frac{\partial\tanh (x)}{\partial x}\Big| > \Big|\frac{\partial\text{σ} (x)}{\partial x}\Big|$.

Answering the part of the question so far unaddressed:

Andrew Ng says that using the logistic function (commonly know as sigmoid) really only makes sense in the final layer of a binary classification network.

As the output of the network is expected to be between $0$ and $1$, the logistic is a perfect choice as it's range is exactly $(0, 1)$. No scaling and shifting of $tanh$ required.

It all essentially depends on the derivatives of the activation function, the main problem with the sigmoid function is that the max value of its derivative is 0.25, this means that the update of the values of W and b will be small.

The tanh function on the other hand, has a derivativ of up to 1.0, making the updates of W and b much larger.

This makes the tanh function almost always better as an activation function (for hidden layers) rather than the sigmoid function.

To prove this myself (at least in a simple case), I coded a simple neural network and used sigmoid, tanh and relu as activation functions, then I plotted how the error value evolved and this is what I got.

The full notebook I wrote is here https://www.kaggle.com/moriano/a-showcase-of-how-relus-can-speed-up-the-learning

If it helps, here are the charts of the derivatives of the tanh function and the sigmoid one (pay attention to the vertical axis!)