Sztuczna inteligencja activation-function

2

Wybieram funkcję aktywacji dla warstwy wyjściowej w zależności od potrzebnych danych wyjściowych i właściwości funkcji aktywacji, które znam. Na przykład wybieram funkcję sigmoidalną, gdy mam do czynienia z prawdopodobieństwami, ReLU, gdy mam do czynienia z wartościami dodatnimi, i funkcję liniową, gdy mam do czynienia z wartościami ogólnymi. W ukrytych warstwach …

13 neural-networks machine-learning math activation-function

1

Co się stanie, gdy połączę funkcje aktywacyjne?

Istnieje kilka funkcji aktywacyjnych, takich jak ReLU, sigmoid lub tanhtanh\tanh. Co się stanie, gdy połączę funkcje aktywacyjne? Niedawno odkryłem, że Google opracowało funkcję aktywacji Swish, którą jest (x * sigmoid). Zmieniając funkcję aktywacji, może zwiększyć dokładność w przypadku problemu z małą siecią neuronową, takiego jak problem XOR?

10 neural-networks machine-learning activation-function relu sigmoid

2

Co oznacza aktywacja neuronu w sieci neuronowej?

Właśnie natknąłem się na koncepcję pokrycia neuronów, która jest stosunkiem aktywowanych neuronów i całkowitej liczby neuronów w sieci neuronowej. Ale co to znaczy „aktywować” neuron? Wiem, jakie są funkcje aktywacyjne, ale co oznacza aktywacja np. W przypadku ReLU lub funkcji sigmoidalnej?

10 neural-networks ai-basics concepts activation-function

1

Jakie są zalety ReLU w porównaniu z nieszczelnymi ReLU i parametrycznymi ReLU (jeśli istnieją)?

Myślę, że zaletą korzystania z Leaky ReLU zamiast ReLU jest to, że w ten sposób nie możemy mieć zanikającego gradientu. Parametryczna ReLU ma tę samą zaletę z tą różnicą, że nachylenie wyjścia dla ujemnych danych wejściowych jest parametrem możliwym do nauczenia, podczas gdy w nieszczelnej ReLU jest to hiperparametr. Nie …

10 neural-networks activation-function relu

Pytania otagowane jako activation-function