Pytania otagowane jako sigmoid

Istnieje kilka funkcji aktywacyjnych, takich jak ReLU, sigmoid lub tanhtanh\tanh. Co się stanie, gdy połączę funkcje aktywacyjne? Niedawno odkryłem, że Google opracowało funkcję aktywacji Swish, którą jest (x * sigmoid). Zmieniając funkcję aktywacji, może zwiększyć dokładność w przypadku problemu z małą siecią neuronową, takiego jak problem XOR?

10 neural-networks  machine-learning  activation-function  relu  sigmoid