Sztuczna inteligencja backpropagation

1

Różnice między technikami propagacji zwrotnej

Dla zabawy próbuję rozwinąć sieć neuronową. Teraz dla propagacji wstecznej widziałem dwie techniki. Pierwszy jest używany tutaj i w wielu innych miejscach. Co to robi: Oblicza błąd dla każdego neuronu wyjściowego. Propaguje go z powrotem do sieci (obliczając błąd dla każdego wewnętrznego neuronu). Aktualizuje wagi za pomocą wzoru: (gdzie jest …

17 neural-networks machine-learning backpropagation

3

Jaka jest złożoność czasu na szkolenie sieci neuronowej z wykorzystaniem propagacji wstecznej?

Załóżmy, że zawiera NN nnn ukryte warstwy mmm przykładami treningu, xxx funkcje, a ninin_i węzłów w każdej warstwie. Jaka jest złożoność czasu, aby trenować ten NN przy użyciu propagacji wstecznej? Mam podstawowe pojęcie o tym, jak znajdują złożoność czasową algorytmów, ale tutaj należy wziąć pod uwagę 4 różne czynniki, tj. …

17 neural-networks machine-learning backpropagation time-complexity

2

Czy błąd średniej kwadratowej jest zawsze wypukły w kontekście sieci neuronowych?

Wiele zasobów, o których wspomniałem, wspomina, że MSE jest świetny, ponieważ jest wypukły. Ale nie rozumiem jak, szczególnie w kontekście sieci neuronowych. Powiedzmy, że mamy następujące elementy: XXX: zestaw danych szkoleniowych YYY: cele ΘΘ\Theta: zestaw parametrów modelu fΘfΘf_\Theta (model sieci neuronowej z nieliniowościami) Następnie: MSE(Θ)=(fΘ(X)−Y)2MSE⁡(Θ)=(fΘ(X)−Y)2\operatorname{MSE}(\Theta) = (f_\Theta(X) - Y)^2 Dlaczego …

9 neural-networks math backpropagation gradient-descent

Pytania otagowane jako backpropagation