Dlaczego wagi sieci neuronowych są inicjowane liczbami losowymi?

Dlaczego początkowe wagi sieci neuronowych są inicjowane jako liczby losowe? Czytałem gdzieś, że ma to na celu „przełamanie symetrii”, a to przyspiesza naukę sieci neuronowej. W jaki sposób przełamanie symetrii sprawia, że ​​uczy się szybciej?

Czy zainicjowanie wag na 0 nie byłoby lepszym pomysłem? W ten sposób wagi będą mogły szybciej znaleźć swoje wartości (dodatnie lub ujemne)?

Czy istnieje jakaś inna filozofia leżąca u podstaw losowości wag oprócz nadziei, że przy inicjalizacji będą one bliskie optymalnym wartościom?

Podstawowa intuicja polegająca na inicjowaniu warstw ciężaru na małe (i różne) wartości polega na tym, że odchylenie systemu jest zepsute, a wartości ciężaru mogą przesuwać się wzdłuż i oddalać oraz rozdzielać na różne wartości.

Mówiąc bardziej konkretnie, prawdopodobnie chciałbyś, aby początkowe ciężary były wyraźne i miały „małą szczelinę” między nimi, ta „szczelina” rozszerza się w miarę postępów i wymusza, aby wagi były nieco większe przy każdej iteracji, a to pomaga sieć zbiega się szybciej, tzn. proces uczenia się przyspiesza.

Jeśli zamiast tego miałbyś wszystkie swoje ciężary do jakiejś stałej, każda waga zostanie zaktualizowana w bardzo powolnym (~ ustalonym) tempie, a to niewiele pomoże, szczególnie jeśli początkowe wartości są „bardzo dalekie” od wartości końcowych.

Mam nadzieję, że to pomoże, miłej nauki :)