Jaka jest korzyść z obciętego rozkładu normalnego przy inicjowaniu ciężarów w sieci neuronowej?

Podczas inicjowania wag połączeń w sieci neuronowej ze sprzężeniem zwrotnym ważne jest, aby inicjować je losowo, aby uniknąć symetrii, których algorytm uczenia się nie byłby w stanie złamać.

Zalecenie, które widziałem w różnych miejscach (np. W samouczku MNIST firmy TensorFlow ), to stosowanie skróconego rozkładu normalnego przy użyciu standardowego odchylenia , gdzie jest liczbą danych wejściowych do podana warstwa neuronu.$\dfrac{1}{\sqrt{N}}$$N$

Uważam, że standardowa formuła odchylenia zapewnia, że ​​gradienty propagowane wstecz nie rozpuszczają się ani nie wzmacniają zbyt szybko. Ale nie wiem, dlaczego używamy skróconego rozkładu normalnego, a nie zwykłego rozkładu normalnego. Czy ma to na celu uniknięcie rzadkich obciążeń odstających?

Myślę, że chodzi o nasycenie neuronów. Pomyśl o swojej funkcji aktywacyjnej, takiej jak sigmoid.

Jeśli twoja wartość val osiągnie wartość> = 2 lub <= - 2, twój neuron się nie nauczy. Tak więc, jeśli obetniesz swoją normalną dystrybucję, nie będziesz mieć tego problemu (przynajmniej od inicjalizacji) w oparciu o swoją wariancję. Myślę, że właśnie dlatego lepiej jest używać ogólnie okrojonej normalnej.

Korzyścią ze stosowania skróconego rozkładu normalnego jest zapobieganie generowaniu „martwych neuronów” z powodu użycia relu_logits , co wyjaśniono tutaj .

Generalnie należy inicjować wagi z niewielką ilością hałasu w celu złamania symetrii i, aby zapobiec zerowym gradientom. Ponieważ używamy neuronów ReLU, dobrą praktyką jest również inicjowanie ich z nieznacznie dodatnim początkowym nastawieniem, aby uniknąć „martwych neuronów”.