Nauka danych optimization

8

Obecnie pracuję nad implementacją Stochastic Gradient Descent, SGDdla sieci neuronowych wykorzystujących propagację wsteczną i choć rozumiem jej cel, mam kilka pytań na temat wyboru wartości szybkości uczenia się. Czy szybkość uczenia się jest związana z kształtem gradientu błędu, ponieważ dyktuje on tempo opadania? Jeśli tak, w jaki sposób wykorzystujesz te …

85 machine-learning neural-network deep-learning optimization hyperparameter

4

Czy model powinien zostać ponownie przeszkolony, jeśli dostępne są nowe obserwacje?

Nie znalazłem więc żadnej literatury na ten temat, ale wydaje się, że warto coś przemyśleć: Jakie są najlepsze praktyki w szkoleniu i optymalizacji modeli, jeśli dostępne są nowe obserwacje? Czy jest jakiś sposób na określenie okresu / częstotliwości ponownego szkolenia modelu, zanim prognozy zaczną się obniżać? Czy przesadne jest optymalizowanie …

28 machine-learning predictive-modeling optimization training

1

Czy istnieją jakieś zasady wyboru wielkości mini-partii?

Podczas uczenia sieci neuronowych jeden hiperparametr ma rozmiar minibatchu. Najczęściej wybierane są 32, 64 i 128 elementów na jedną partię. Czy istnieją jakieś zasady / wytyczne dotyczące wielkości mini-partii? Jakieś publikacje, które badają wpływ na szkolenie?

21 neural-network deep-learning convnet optimization

4

Czy spadek gradientu zawsze jest zbieżny z optymalnym?

Zastanawiam się, czy istnieje scenariusz, w którym zejście gradientu nie jest zbieżne do minimum. Zdaję sobie sprawę, że nie zawsze gwarantuje się, że zejście gradientu zbliży się do globalnego optimum. Wiem również, że może różnić się od optymalnego, jeśli powiedzmy, że stopień jest zbyt duży. Wydaje mi się jednak, że …

21 machine-learning neural-network deep-learning optimization gradient-descent

3

Wytyczne dotyczące wyboru optymalizatora do szkolenia sieci neuronowych

Od jakiegoś czasu korzystam z sieci neuronowych. Jednak jedną rzeczą, z którą ciągle mam problemy, jest wybór optymalizatora do szkolenia sieci (przy użyciu backprop). To, co zwykle robię, to zaczynam od jednego (np. Standardowego SGD), a następnie wypróbowuję inne dość losowo. Zastanawiałem się, czy istnieje lepsze (i mniej przypadkowe) podejście …

18 neural-network optimization backpropagation

2

lokalne minima vs punkty siodłowe w głębokim uczeniu się

Słyszałem, jak Andrew Ng (w filmie, którego niestety już nie mogę znaleźć) opowiadał o tym, jak zmieniło się rozumienie lokalnych minimów w problemach głębokiego uczenia się w tym sensie, że są one obecnie uważane za mniej problematyczne, ponieważ w przestrzeniach wielowymiarowych (spotykanych w głębokie uczenie się) punkty krytyczne częściej są …

18 machine-learning deep-learning optimization convergence

1

Ile funkcji próbkować przy użyciu losowych lasów

Strona Wikipedii cytująca „Elementy uczenia statystycznego” mówi: Zazwyczaj w przypadku problemu z klasyfikacją funkcji ⌊ √ppp Funkcje p ⌋są używane w każdym podziale.⌊ str-√⌋⌊p⌋\lfloor \sqrt{p}\rfloor Rozumiem, że jest to dość dobrze wykształcone przypuszczenie i prawdopodobnie zostało to potwierdzone dowodami empirycznymi, ale czy istnieją inne powody, dla których wybrałby pierwiastek kwadratowy? …

14 statistics random-forest optimization evaluation sampling

2

Dlaczego algorytmy genetyczne nie są wykorzystywane do optymalizacji sieci neuronowych?

Z mojego zrozumienia, Algorytmy genetyczne są potężnymi narzędziami do optymalizacji wielu celów. Ponadto szkolenie sieci neuronowych (szczególnie głębokich) jest trudne i wiąże się z wieloma problemami (funkcje kosztów niewypukłych - lokalne minima, zanikanie i eksplodowanie gradientów itp.). Również jestem konceptualny, że szkolenie NN z GA jest wykonalne. Zastanawiałem się, dlaczego …

13 neural-network optimization genetic-algorithms

4

Czy zejście gradientu ma kluczowe znaczenie dla każdego optymalizatora?

Chcę wiedzieć, czy spadek gradientu jest głównym algorytmem stosowanym w optymalizatorach takich jak Adam, Adagrad, RMSProp i kilku innych optymalizatorach.

13 machine-learning neural-network deep-learning optimization gradient-descent

2

Dlaczego nie zawsze stosować technikę optymalizacji ADAM?

Wydaje się, że optymalizator Adaptive Moment Estimation (Adam) prawie zawsze działa lepiej (szybciej i bardziej niezawodnie osiąga globalne minimum) przy minimalizacji funkcji kosztów w szkoleniu sieci neuronowych. Dlaczego nie zawsze używać Adama? Po co męczyć się przy użyciu RMSProp lub optymalizatorów pędu?

13 neural-network optimization

1

Fisher Scoring v / s Współrzędne Descent dla MLE in R

Funkcja podstawowa R glm()wykorzystuje punktację Fishera dla MLE, podczas gdy glmnetwydaje się, że używa metody opadania współrzędnych do rozwiązania tego samego równania. Opadanie współrzędnych jest bardziej wydajne czasowo niż punktacja Fishera, ponieważ punktacja Fishera oblicza macierz pochodną drugiego rzędu, oprócz niektórych innych operacji macierzy. co sprawia, że jest to kosztowne …

11 machine-learning r algorithms optimization

3

Najlepsze języki do obliczeń naukowych [zamknięte]

Zamknięte . To pytanie musi być bardziej skoncentrowane . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby skupiało się tylko na jednym problemie, edytując ten post . Zamknięte 5 lat temu . Wydaje się, że w większości języków dostępna jest pewna liczba naukowych bibliotek komputerowych. Python ma …

10 efficiency statistics tools knowledge-base machine-learning neural-network deep-learning optimization hyperparameter machine-learning time-series categorical-data logistic-regression python visualization bigdata efficiency classification binary svm random-forest logistic-regression data-mining sql experiments bigdata efficiency performance scalability distributed bigdata nlp statistics education knowledge-base definitions machine-learning recommender-system evaluation efficiency algorithms parameter efficiency scalability sql statistics visualization knowledge-base education machine-learning r python r text-mining sentiment-analysis machine-learning machine-learning python neural-network statistics reference-request machine-learning data-mining python classification data-mining bigdata usecase apache-hadoop map-reduce aws education feature-selection machine-learning machine-learning sports data-formats hierarchical-data-format bigdata apache-hadoop bigdata apache-hadoop python visualization knowledge-base classification confusion-matrix accuracy bigdata apache-hadoop bigdata efficiency apache-hadoop distributed machine-translation nlp metadata data-cleaning text-mining python pandas machine-learning python pandas scikit-learn bigdata machine-learning databases clustering data-mining recommender-system

2

Dlaczego szybkość uczenia się powoduje, że waga mojej sieci neuronowej gwałtownie rośnie?

Używam tensorflow do pisania prostych sieci neuronowych w celu trochę badań i miałem wiele problemów z wagami „nan” podczas treningu. Próbowałem wielu różnych rozwiązań, takich jak zmiana optymalizatora, zmiana utraty, rozmiaru danych itp., Ale bezskutecznie. Wreszcie zauważyłem, że zmiana współczynnika uczenia się spowodowała niewiarygodną różnicę w moich wagach. Przy zastosowaniu …

9 machine-learning python tensorflow optimization gradient-descent

Pytania otagowane jako optimization