2
KL Strata z jednostką Gaussa
Wdrażam VAE i zauważyłem w Internecie dwie różne implementacje uproszczonej rozbieżności Gaussa KL dla jednej zmiennej. Oryginalna rozbieżność, jak tutaj, jest K.L.l o s s= log(σ2)σ1) +σ2)1+ (μ1-μ2))2)2)σ2)2)-12)K.L.loss=log(σ2)σ1)+σ12)+(μ1-μ2))2)2)σ2)2)-12) KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2} Jeśli założymy, że nasz przeor jest jednostką gaussowską tj μ2)= 0μ2)=0\mu_2=0 i σ2)= 1σ2)=1\sigma_2=1, upraszcza to do K.L.l o s s= …