Pytania otagowane jako activation-function

2
Jak wybrać funkcję aktywacji?
Wybieram funkcję aktywacji dla warstwy wyjściowej w zależności od potrzebnych danych wyjściowych i właściwości funkcji aktywacji, które znam. Na przykład wybieram funkcję sigmoidalną, gdy mam do czynienia z prawdopodobieństwami, ReLU, gdy mam do czynienia z wartościami dodatnimi, i funkcję liniową, gdy mam do czynienia z wartościami ogólnymi. W ukrytych warstwach …

1
Co się stanie, gdy połączę funkcje aktywacyjne?
Istnieje kilka funkcji aktywacyjnych, takich jak ReLU, sigmoid lub tanhtanh\tanh. Co się stanie, gdy połączę funkcje aktywacyjne? Niedawno odkryłem, że Google opracowało funkcję aktywacji Swish, którą jest (x * sigmoid). Zmieniając funkcję aktywacji, może zwiększyć dokładność w przypadku problemu z małą siecią neuronową, takiego jak problem XOR?


Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.