Właśnie natknąłem się na koncepcję pokrycia neuronów, która jest stosunkiem aktywowanych neuronów i całkowitej liczby neuronów w sieci neuronowej. Ale co to znaczy „aktywować” neuron? Wiem, jakie są funkcje aktywacyjne, ale co oznacza aktywacja np. W przypadku ReLU lub funkcji sigmoidalnej?
Odpowiedzi:
Mówi się, że neuron jest aktywowany, gdy jego moc wyjściowa jest większa niż próg, zazwyczaj 0.
Na przykład: when
To samo dotyczy sigmoidów lub innych funkcji aktywacyjnych.
Termin „aktywowany” jest najczęściej używany, gdy mówi się o funkcjach aktywacji, które generują wartość (oprócz 0) tylko wtedy, gdy sygnał wejściowy do funkcji aktywacji jest większy niż określony próg.
Zwłaszcza przy omawianiu ReLU można użyć terminu „aktywowany”. ReLU zostanie „aktywowane”, gdy jego moc wyjściowa będzie większa niż 0, a także wtedy, gdy jego moc wejściowa będzie większa niż 0.
Inne funkcje aktywacji, takie jak sigmoid, zawsze zwracają wartość większą niż 0 i nie mają żadnego specjalnego progu. Dlatego termin „aktywowany” ma tutaj mniejsze znaczenie.
Chociaż niewiele o nich wiemy, wydaje się, że neurony w mózgu mają coś, co przypomina funkcję aktywacyjną z jakimś „progiem aktywacyjnym”.