Sztuczna inteligencja loss-functions

Zrozumienie funkcji utraty GAN

Usiłuję zrozumieć funkcję utraty GAN przedstawioną w Understanding Generative Adversarial Networks (post na blogu napisany przez Daniela Seity). W standardowej stracie entropijnej mamy wyjście, które zostało przepuszczone przez funkcję sigmoidalną i wynikową klasyfikację binarną. Stwierdza Sieta Zatem dla [każdego] punktu danych x1x1x_1 i jego etykiety otrzymujemy następującą funkcję utraty ... …

17 neural-networks machine-learning deep-learning loss-functions generative-adversarial-networks

Strata gwałtownie skacze, gdy zmniejszam tempo uczenia się za pomocą optymalizatora Adama w PyTorch

Trenuję auto-encodersieć z Adamoptymalizatorem (z amsgrad=True) i MSE lossdla zadania Separacja źródła dźwięku jednokanałowego. Ilekroć zmniejszam współczynnik uczenia się czynnikowo, utrata sieci gwałtownie skacze, a następnie maleje aż do następnego spadku współczynnika uczenia się. Używam Pytorch do implementacji sieci i szkolenia. Following are my experimental setups: Setup-1: NO learning rate …

11 machine-learning deep-learning optimization autoencoders loss-functions

Pytania otagowane jako loss-functions