Statystyki i duże zbiory danych gradient-descent

8

Dlaczego metoda Newtona nie jest szeroko stosowana w uczeniu maszynowym?

To mnie denerwuje od jakiegoś czasu i nie mogłem znaleźć satysfakcjonujących odpowiedzi online, więc oto: Po przejrzeniu zestawu wykładów na temat optymalizacji wypukłej metoda Newtona wydaje się znacznie lepszym algorytmem niż zejście gradientu do znajdowania globalnie optymalnych rozwiązań, ponieważ metoda Newtona może zapewnić gwarancję rozwiązania, jest niezmienna afiniczna, a przede …

131 machine-learning optimization gradient-descent hessian

3

Spadek gradientu wsadowego a gradient gradientu stochastycznego

Załóżmy, że mamy pewien zestaw treningowy ( x( i ), y( i ))(x(i),y(i))(x_{(i)}, y_{(i)}) dla i = 1 , … , mi=1,…,mi = 1, \dots, m . Załóżmy również, że uruchamiamy pewien rodzaj algorytmu uczenia nadzorowanego na zestawie szkoleniowym. Hipotezy są reprezentowane jako hθ( x( i )) = θ0+ θ1x( …

101 optimization gradient-descent sgd

6

Po co używać opadania gradientu do regresji liniowej, gdy dostępne jest rozwiązanie matematyczne w formie zamkniętej?

Biorę kursy uczenia maszynowego online i dowiedziałem się o spadku gradientu do obliczania optymalnych wartości w hipotezie. h(x) = B0 + B1X dlaczego musimy używać zejścia gradientu, jeśli możemy łatwo znaleźć wartości za pomocą poniższej formuły? To też wygląda na proste i łatwe. ale GD potrzebuje wielu iteracji, aby uzyskać …

73 regression machine-learning gradient-descent

2

Rozwiązywanie parametrów regresji w formie zamkniętej vs opadanie gradientu

Na kursie uczenia maszynowego Andrew Nga wprowadza regresję liniową i regresję logistyczną oraz pokazuje, jak dopasować parametry modelu za pomocą spadku gradientu i metody Newtona. Wiem, że zejście gradientowe może być przydatne w niektórych aplikacjach uczenia maszynowego (np. Propagacja wsteczna), ale w bardziej ogólnym przypadku jest jakiś powód, dla którego …

71 regression machine-learning logistic gradient-descent

3

Dlaczego badaczom sieci neuronowych zależy na epokach?

Epoka stochastycznego spadku gradientu jest definiowana jako pojedyncze przejście przez dane. Dla każdego minibatchu SGD rysuje się kkk próbek, oblicza gradient i aktualizuje parametry. W ustawieniu epoki próbki są rysowane bez zamiany. Ale to wydaje się niepotrzebne. Dlaczego nie narysować każdego minibatchu SGD, gdy kkk losuje z całego zestawu danych …

69 neural-networks deep-learning gradient-descent

7

Optymalizacja, gdy funkcja kosztu wolno ocenia

Spadek gradientu i wiele innych metod jest przydatnych do znajdowania lokalnych minimów w funkcjach kosztów. Mogą być wydajne, gdy funkcja kosztu może być szybko oszacowana w każdym punkcie, zarówno liczbowo, jak i analitycznie. Mam coś, co wydaje mi się niezwykłą sytuacją. Każda ocena mojej funkcji kosztów jest kosztowna. Usiłuję znaleźć …

59 gradient-descent optimization bayesian-optimization

6

Optymalizator Adama z rozkładem wykładniczym

W większości kodów Tensorflow widziałem, że Adam Optimizer jest używany ze stałą szybkością uczenia się 1e-4(tj. 0,0001). Kod zwykle wygląda następująco: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added by AdamOptimizer(). init_op = …

53 neural-networks deep-learning gradient-descent tensorflow adam

1

Jak duży powinien być rozmiar partii dla stochastycznego spadku gradientu?

Rozumiem, że stochastyczne zejście gradientu może być wykorzystane do optymalizacji sieci neuronowej z wykorzystaniem propagacji wstecznej poprzez aktualizację każdej iteracji inną próbką zestawu danych szkoleniowych. Jak duży powinien być rozmiar partii?

49 machine-learning neural-networks gradient-descent backpropagation

4

Jaka jest różnica między spadkiem gradientu opartym na pędu a przyspieszeniem opadania gradientu Niestierowa?

Opadanie gradientu na podstawie pędu działa więc następująco: v = s e l f. m o m e n t u m ∗ m - l r ∗ gv=self.momentum∗m−lr∗gv=self.momentum*m-lr*g gdzie jest poprzednią aktualizacją masy, a g jest bieżącym gradientem w odniesieniu do parametrów p , l r jest szybkością uczenia …

48 optimization gradient-descent

1

Różnica między GradientDescentOptimizer a AdamOptimizer (TensorFlow)?

Napisałem prosty MLP w TensorFlow, który modeluje bramę XOR . Więc dla: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] powinien produkować: output_data = [[0.], [1.], [1.], [0.]] Sieć ma warstwę wejściową, warstwę ukrytą i warstwę wyjściową z 2, 5 i 1 neuronem. Obecnie mam następującą entropię krzyżową: …

45 machine-learning neural-networks error gradient-descent supervised-learning

1

Jak działa metoda Adama stochastycznego spadku gradientu?

Jestem zaznajomiony z podstawowymi algorytmami spadku gradientu do szkolenia sieci neuronowych. Czytałem artykuł proponujący Adam: ADAM: METODA OPTYMALIZACJI STOCHASTYCZNEJ . Chociaż zdecydowanie mam pewne spostrzeżenia (przynajmniej), papier wydaje się być dla mnie ogólnie za wysoki. Na przykład funkcja kosztu jest często sumą wielu różnych funkcji, dlatego w celu zoptymalizowania jej …

45 neural-networks optimization gradient-descent adam

1

Sieci neuronowe: pęd zmiany masy i spadek masy ciała

Momentum służy do zmniejszenia wahań zmian masy w kolejnych iteracjach:αα\alpha gdzieE(w)jest funkcją błędu,w- wektor wag,η- szybkość uczenia się.Δ ωja( t + 1 ) = - η∂mi∂wja+ α Δ ωja( t ) ,Δωi(t+1)=−η∂E∂wi+αΔωi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t),E(w)E(w)E({\bf w})ww{\bf w}ηη\eta Rozpad masy karze zmiany masy:λλ\lambda Δωi(t+1)=−η∂E∂wi−ληωiΔωi(t+1)=−η∂E∂wi−ληωi\Delta\omega_i(t+1) =- …

41 neural-networks optimization regularization gradient-descent

4

W jaki sposób funkcja aktywacji prostoliniowej rozwiązuje problem znikającego gradientu w sieciach neuronowych?

Znalazłem rektyfikowaną jednostkę liniową (ReLU) chwaloną w kilku miejscach jako rozwiązanie problemu znikającego gradientu sieci neuronowych. Oznacza to, że jako funkcję aktywacji używa się max (0, x). Gdy aktywacja jest dodatnia, oczywiste jest, że jest ona lepsza niż, powiedzmy, funkcja aktywacji sigmoidalnej, ponieważ jej pochodna wynosi zawsze 1 zamiast arbitralnie …

40 machine-learning neural-networks deep-learning gradient-descent

2

Kto wynalazł stochastyczne zejście gradientu?

Staram się zrozumieć historię zejścia gradientowego i stochastycznego . Gradientowe zejście zostało wynalezione w Cauchy w 1847 roku. Méthode générale pour la résolution des systèmes d'équations symultanes . str. 536–538 Więcej informacji na ten temat można znaleźć tutaj . Od tego czasu metody zejścia gradientowego ciągle się rozwijają i nie …

36 references gradient-descent history sgd

2

Czy potrzebujemy spadku gradientu, aby znaleźć współczynniki modelu regresji liniowej?

Próbowałem nauczyć się uczenia maszynowego przy użyciu materiału Coursera . W tym wykładzie Andrew Ng wykorzystuje algorytm spadku gradientu do znalezienia współczynników modelu regresji liniowej, które zminimalizują funkcję błędu (funkcję kosztu). Czy do regresji liniowej potrzebujemy spadku gradientu? Wydaje się, że potrafię analitycznie rozróżnić funkcję błędu i ustawić ją na …

31 regression machine-learning linear-model gradient-descent

Pytania otagowane jako gradient-descent