Zaczynam od głębokiego uczenia się i mam pytanie, na które nie mogłem znaleźć odpowiedzi, być może nie szukałem właściwie. Widziałem tę odpowiedź , ale nadal nie jest jasne, jaka jest utrata masy ciała i jak to jest związane z funkcją utraty.
Zaczynam od głębokiego uczenia się i mam pytanie, na które nie mogłem znaleźć odpowiedzi, być może nie szukałem właściwie. Widziałem tę odpowiedź , ale nadal nie jest jasne, jaka jest utrata masy ciała i jak to jest związane z funkcją utraty.
Odpowiedzi:
Rozpad masy określa regularyzację w sieci neuronowej.
Podczas szkolenia do straty sieci dodawany jest termin regulacyjny w celu obliczenia gradientu propagacji wstecznej. weight decay
Wartość określa, jak dominujący ten termin uregulowania będzie do obliczenia gradientu.
Z reguły im więcej masz przykładów szkoleniowych, tym słabszy powinien być ten termin. Im więcej parametrów masz, tym wyższy powinien być ten termin.
Zatem rozpad masy ciała jest terminem regulującym, który karze duże ciężary. Gdy współczynnik rozpadu masy jest duży, kara za duże ciężary jest również duża, gdy jest mała, ciężary mogą swobodnie rosnąć.
Tak więc teraz, jeśli wrócisz do czytania odpowiedzi, którą podałeś w swoim pytaniu, byłoby to teraz całkowicie sensowne.