Statystyki i duże zbiory danych gradient-descent

6

Dlaczego nie wykorzystać trzeciej pochodnej do optymalizacji numerycznej?

Jeśli Hesjanie są tak dobrzy do optymalizacji (patrz np . Metoda Newtona ), po co się tu zatrzymywać? Użyjmy trzeciej, czwartej, piątej i szóstej pochodnej? Dlaczego nie?

29 optimization gradient-descent hessian

4

W jaki sposób wyprowadza się funkcję kosztu z regresji logistycznej

Robię kurs Machine Learning Stanford na Coursera. W rozdziale dotyczącym regresji logistycznej funkcja kosztu jest następująca: Następnie uzyskuje się tutaj: Próbowałem uzyskać pochodną funkcji kosztu, ale dostałem coś zupełnie innego. Jak otrzymuje się pochodną? Jakie są kroki pośrednie?

29 regression logistic gradient-descent derivative

2

Jaka jest różnica między EM a Gradient Ascent?

Jaka jest różnica między algorytmami EM (Expectation Maximization) a Gradient Ascent (or descent)? Czy są jakieś warunki, w których są one równoważne?

28 gradient-descent expectation-maximization

6

Czy w przypadku problemów wypukłych gradient w Stochastic Descent Gradient (SGD) zawsze wskazuje na ekstremalną wartość globalną?

Biorąc pod uwagę funkcję wypukłego kosztu, wykorzystującą SGD do optymalizacji, będziemy mieli gradient (wektor) w pewnym punkcie podczas procesu optymalizacji. Moje pytanie brzmi: biorąc pod uwagę punkt na wypukłości, czy gradient wskazuje tylko w kierunku, w którym funkcja rośnie / zmniejsza się najszybciej, czy gradient zawsze wskazuje na optymalny / …

25 neural-networks optimization gradient-descent sgd convex

1

Jak zdefiniować warunek zakończenia opadania gradientu?

Właściwie chciałem zapytać, jak mogę zdefiniować warunek końcowy zejścia gradientu. Czy mogę to zatrzymać na podstawie liczby iteracji, tj. Biorąc pod uwagę wartości parametrów, powiedzmy, 100 iteracji? A może powinienem poczekać, aż różne wartości dwóch parametrów „nowy” i „stary” będą bardzo małe w stosunku do powiedzmy ? To na pewno …

24 algorithms optimization gradient-descent

3

Spadek współrzędnych a gradient

Zastanawiałem się, jakie są różne przypadki użycia dla dwóch algorytmów: zejścia współrzędnych i zejścia gradientu . Wiem, że opadanie współrzędnych ma problemy z nie płynnymi funkcjami, ale jest używane w popularnych algorytmach, takich jak SVM i LASSO. Uważam jednak, że zejście gradientowe jest szerzej stosowane, zwłaszcza przy odradzaniu się ANN …

23 optimization gradient-descent

1

Gradientowa propagacja wsteczna poprzez pomijanie połączeń ResNet

Jestem ciekawy, w jaki sposób gradienty są propagowane wstecz przez sieć neuronową przy użyciu modułów ResNet / pomijania połączeń. Widziałem kilka pytań na temat ResNet (np. Sieć neuronowa z połączeniami pomijanymi ), ale to pytanie dotyczy konkretnie wstecznej propagacji gradientów podczas treningu. Podstawowa architektura jest tutaj: Przeczytałem ten artykuł, Badanie …

22 machine-learning neural-networks conv-neural-network gradient-descent backpropagation

3

Dlaczego warto korzystać z opadania gradientu w sieciach neuronowych?

Podczas uczenia sieci neuronowej za pomocą algorytmu propagacji wstecznej do określenia aktualizacji masy używana jest metoda opadania gradientu. Moje pytanie brzmi: Zamiast używać metody opadania gradientu, aby powoli zlokalizować punkt minimalny w odniesieniu do określonej masy, dlaczego nie ustawimy po prostu pochodnej i znaleźć wartość masyw,która minimalizuje błąd?d(Error)dw=0d(Error)dw=0\frac{d(\text{Error})}{dw}=0www Ponadto, dlaczego …

22 neural-networks gradient-descent backpropagation

3

Czy możliwe jest zejście gradientu dla SVM w jądrze (jeśli tak, to dlaczego ludzie używają programowania kwadratowego)?

Dlaczego ludzie używają technik programowania kwadratowego (takich jak SMO) podczas obsługi SVM z jądrem? Co jest nie tak z Gradient Descent? Czy nie jest możliwe używanie go z jądrem, czy jest to po prostu zbyt wolne (i dlaczego?). Oto nieco więcej kontekstu: starając się lepiej zrozumieć SVM, użyłem Gradient Descent …

21 svm kernel-trick gradient-descent

3

Od reguły Perceptron do zejścia gradientu: Czym różnią się Perceptrony z funkcją aktywacji sigmoidalnej od regresji logistycznej?

Zasadniczo moje pytanie brzmi: w perceptronach wielowarstwowych perceptrony są używane z funkcją aktywacji sigmoidalnej. Tak więc w regule aktualizacji jest obliczany jakoy^y^\hat{y} y^=11+exp(−wTxi)y^=11+exp⁡(−wTxi)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} Czym zatem ten „sigmoidalny” Perceptron różni się od regresji logistycznej? Powiedziałbym, że jednowarstwowy sigmoidalny perceptron jest równoważny regresji logistycznej w tym sensie, że obaj używają …

21 logistic classification neural-networks gradient-descent perceptron

2

Po co w sieciach neuronowych używać metod gradientowych zamiast innych metaheurystyk?

Dlaczego podczas treningu głębokich i płytkich sieci neuronowych powszechnie stosuje się metody gradientowe (np. Opadanie gradientu, Niestierow, Newton-Raphson), w przeciwieństwie do innych metaheurystyk? Przez metaheurystykę rozumiem metody takie jak symulowane wyżarzanie, optymalizacja kolonii mrówek itp., Które zostały opracowane w celu uniknięcia utknięcia w lokalnych minimach.

20 neural-networks optimization deep-learning gradient-descent backpropagation

3

Kiedy algorytmy genetyczne są dobrym wyborem do optymalizacji?

Algorytmy genetyczne są jedną z metod optymalizacji. Często stochastyczne zejście gradientu i jego pochodne są najlepszym wyborem do optymalizacji funkcji, ale algorytmy genetyczne są nadal stosowane. Na przykład antena statku kosmicznego ST5 NASA została stworzona za pomocą algorytmu genetycznego: Kiedy metody optymalizacji genetycznej są lepszym wyborem niż bardziej popularne metody …

20 machine-learning optimization gradient-descent genetic-algorithms

3

Czy istnieje wiele lokalnych optymalnych rozwiązań, gdy rozwiązujemy regresję liniową?

Przeczytałem to oświadczenie na jednym starym egzaminie prawda / fałsz: Możemy uzyskać wiele lokalnych optymalnych rozwiązań, jeśli rozwiążemy problem regresji liniowej, minimalizując sumę błędów kwadratu za pomocą spadku gradientu. Rozwiązanie: Fałsz Moje pytanie brzmi, która część tego pytania jest błędna? Dlaczego to stwierdzenie jest fałszywe?

19 least-squares gradient-descent convex

3

W jaki sposób stochastyczne zejście gradientu pozwala uniknąć problemu lokalnego minimum?

Wiem, że opadanie gradientu stochastycznego ma losowe zachowanie, ale nie wiem dlaczego. Czy jest na to jakieś wyjaśnienie?

19 machine-learning random-variable gradient-descent

3

Jak wielkość partii wpływa na konwergencję SGD i dlaczego?

Widziałem podobny wniosek z wielu dyskusji, że wraz ze wzrostem rozmiaru mini-partii konwergencja SGD faktycznie staje się trudniejsza / gorsza, na przykład ten artykuł i ta odpowiedź . Słyszałem także o ludziach stosujących sztuczki, takie jak małe stawki uczenia się lub wielkości partii na wczesnym etapie, aby rozwiązać ten problem …

18 machine-learning neural-networks optimization gradient-descent sgd

Pytania otagowane jako gradient-descent