Pytania otagowane jako relu

Co się stanie, gdy połączę funkcje aktywacyjne?

Istnieje kilka funkcji aktywacyjnych, takich jak ReLU, sigmoid lub tanhtanh\tanh. Co się stanie, gdy połączę funkcje aktywacyjne? Niedawno odkryłem, że Google opracowało funkcję aktywacji Swish, którą jest (x * sigmoid). Zmieniając funkcję aktywacji, może zwiększyć dokładność w przypadku problemu z małą siecią neuronową, takiego jak problem XOR?

10 neural-networks machine-learning activation-function relu sigmoid

Jakie są zalety ReLU w porównaniu z nieszczelnymi ReLU i parametrycznymi ReLU (jeśli istnieją)?

Myślę, że zaletą korzystania z Leaky ReLU zamiast ReLU jest to, że w ten sposób nie możemy mieć zanikającego gradientu. Parametryczna ReLU ma tę samą zaletę z tą różnicą, że nachylenie wyjścia dla ujemnych danych wejściowych jest parametrem możliwym do nauczenia, podczas gdy w nieszczelnej ReLU jest to hiperparametr. Nie …

10 neural-networks activation-function relu

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.

Licensed under cc by-sa 3.0 with attribution required.