Programowanie gradient-descent

2

Dlaczego musimy wywoływać zero_grad () w PyTorch?

Metodę zero_grad()należy wywołać podczas treningu. Ale dokumentacja nie jest zbyt pomocna | zero_grad(self) | Sets gradients of all model parameters to zero. Dlaczego musimy wywołać tę metodę?

126 python neural-network deep-learning pytorch gradient-descent

4

Pytorch, jakie są argumenty gradientowe

Czytam dokumentację PyTorch i znalazłem przykład, na którym piszą gradients = torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad) gdzie x było początkową zmienną, z której skonstruowano y (3-wektor). Pytanie brzmi, jakie są argumenty 0,1, 1,0 i 0,0001 tensora gradientu? Dokumentacja nie jest w tym zbyt jasna.

112 neural-network gradient pytorch torch gradient-descent

9

Dlaczego wagi sieci neuronowych powinny być inicjalizowane liczbami losowymi? [Zamknięte]

Zamknięte. To pytanie nie spełnia wytycznych dotyczących przepełnienia stosu . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było na temat przepełnienia stosu. Zamknięte 5 dni temu . Popraw to pytanie Próbuję zbudować sieć neuronową od podstaw. W całej literaturze dotyczącej sztucznej inteligencji panuje zgoda co do …

105 machine-learning neural-network artificial-intelligence mathematical-optimization gradient-descent

5

Najczęstsze przyczyny nans podczas treningu

Zauważyłem, że pojawia się częste zjawisko podczas treningu NAN. Często wydaje się, że jest on wprowadzany przez nadmuchiwanie ciężarów w warstwach produktu wewnętrznego / w pełni połączonych lub splotowych. Czy dzieje się tak, ponieważ obliczenia gradientu wybuchają? A może jest to spowodowane inicjalizacją wagi (jeśli tak, dlaczego inicjalizacja wagi ma …

85 machine-learning neural-network deep-learning caffe gradient-descent

1

R: Implementacja własnego algorytmu zwiększania gradientu

Próbuję napisać własny algorytm zwiększania gradientu. Rozumiem, że są istniejące pakiety, jak gbmi xgboost,, ale chciałam zrozumieć, jak działa algorytm pisząc własną rękę. Korzystam z iriszestawu danych, a mój wynik jest Sepal.Length(ciągły). Moja funkcja straty to mean(1/2*(y-yhat)^2)(w zasadzie średni błąd kwadratu z 1/2 z przodu), więc mój odpowiedni gradient jest …

10 r machine-learning gradient-descent gbm boosting

Pytania otagowane jako gradient-descent