Statystyki i duże zbiory danych sigmoid-curve

Dlaczego tanh prawie zawsze jest lepszy niż sigmoid jako funkcja aktywacyjna?

W Andrzej zNg sieci neuronowe i głęboki learning na Coursera mówi, że przy tanhtanhtanh jest prawie zawsze korzystniejsze sigmoidsigmoidsigmoid . Powodem jest to, że daje on wyjść przy użyciu tanhtanhtanh centrum niż około 0 sigmoidsigmoidsigmoid „a 0,5, a to«sprawia, że uczenie się do następnej warstwy trochę łatwiejsze». Dlaczego centrowanie uczenia …

33 machine-learning neural-networks backpropagation sigmoid-curve

Relu vs Sigmoid vs Softmax jako neurony z ukrytą warstwą

Bawiłem się prostą siecią neuronową z tylko jedną ukrytą warstwą, autorstwa Tensorflow, a następnie próbowałem różnych aktywacji dla ukrytej warstwy: Relu Sigmoid Softmax (cóż, zwykle softmax jest używany w ostatniej warstwie ..) Relu zapewnia najlepszą dokładność pociągu i dokładność walidacji. Nie jestem pewien, jak to wyjaśnić. Wiemy, że Relu ma …

22 machine-learning neural-networks conv-neural-network tensorflow sigmoid-curve

Pytania otagowane jako sigmoid-curve