1
Strata gwałtownie skacze, gdy zmniejszam tempo uczenia się za pomocą optymalizatora Adama w PyTorch
Trenuję auto-encodersieć z Adamoptymalizatorem (z amsgrad=True) i MSE lossdla zadania Separacja źródła dźwięku jednokanałowego. Ilekroć zmniejszam współczynnik uczenia się czynnikowo, utrata sieci gwałtownie skacze, a następnie maleje aż do następnego spadku współczynnika uczenia się. Używam Pytorch do implementacji sieci i szkolenia. Following are my experimental setups: Setup-1: NO learning rate …