Statystyki i duże zbiory danych neural-networks

1

Jaka jest możliwa długość sekwencji dla modelu RNN?

Zastanawiam się nad użyciem wersji LSTM ( długoterminowej pamięci krótkotrwałej ) rekurencyjnej sieci neuronowej (RNN) do modelowania danych szeregów czasowych. Wraz ze wzrostem długości sekwencji danych wzrasta złożoność sieci. Jestem zatem ciekawy, jaką długość sekwencji można by modelować z dobrą dokładnością? Chciałbym zastosować stosunkowo prostą wersję LSTM bez żadnych trudnych …

15 neural-networks deep-learning lstm

4

Text Mining: jak grupować teksty (np. Artykuły prasowe) za pomocą sztucznej inteligencji?

Zbudowałem kilka sieci neuronowych (MLP (w pełni połączony), Elman (cykliczny)) do różnych zadań, takich jak gra w Pong, klasyfikowanie odręcznych cyfr i tym podobne ... Dodatkowo próbowałem zbudować pierwsze sieci neuronowe splotowe, np. Do klasyfikowania wielocyfrowych notatek odręcznych, ale jestem całkowicie nowy w analizowaniu i grupowaniu tekstów, np. W zadaniach …

15 clustering neural-networks feature-selection text-mining self-organizing-maps

4

Czym * jest * sztuczna sieć neuronowa?

Zagłębiając się w literaturę o sieciach neuronowych , identyfikujemy inne metody z topologiami neuromorficznymi (architektury podobne do „sieci neuronowej”). I nie mówię o uniwersalnym twierdzeniu o aproksymacji . Przykłady podano poniżej. Zastanawiam się: jaka jest definicja sztucznej sieci neuronowej? Wygląda na to, że jego topologia obejmuje wszystko. Przykłady: Jedną z …

15 machine-learning neural-networks deep-learning unsupervised-learning supervised-learning

2

Sieci neuronowe a wszystko inne

Nie znalazłem zadowalającej odpowiedzi na to w Google . Oczywiście, jeśli dane, które mam, są rzędu milionów, to głębokie uczenie się jest drogą. Przeczytałem, że kiedy nie mam dużych zbiorów danych, może lepiej jest zastosować inne metody uczenia maszynowego. Podany powód jest nadmierny. Uczenie maszynowe: tj. Patrzenie na dane, ekstrakcje …

15 regression machine-learning classification neural-networks deep-learning

2

Dlaczego ta prognoza szeregów czasowych jest „dość słaba”?

Próbuję nauczyć się korzystać z sieci neuronowych. Czytałem ten samouczek . Po dopasowaniu sieci neuronowej do szeregu czasowego przy użyciu wartości aby przewidzieć wartość przy autor otrzymuje następujący wykres, w którym niebieska linia to szereg czasowy, zielony to prognoza danych pociągu, czerwony to prognoza danych testowych (wykorzystał podział pociągu testowego)tttt …

15 time-series neural-networks predictive-models deep-learning prediction

3

Minimalna liczba warstw w głębokiej sieci neuronowej

W którym momencie zaczynamy klasyfikować wielowarstwowe sieci neuronowe jako głębokie sieci neuronowe, czy inaczej: „Jaka jest minimalna liczba warstw w głębokiej sieci neuronowej?”

15 machine-learning neural-networks deep-learning terminology

1

Suma czy średnia gradientów w (mini) gradiencie serii przyzwoitym?

Kiedy zaimplementowałem przyzwoity gradient mini partii, po prostu uśredniłem gradienty wszystkich przykładów w partii treningowej. Zauważyłem jednak, że teraz optymalna szybkość uczenia się jest znacznie wyższa niż w przypadku przyzwoitego gradientu online. Moją intuicją jest to, że uśredniony gradient jest mniej hałaśliwy i dlatego można go śledzić szybciej. Może więc …

15 neural-networks gradient-descent backpropagation

4

Ile danych potrzebujesz do splotowej sieci neuronowej?

Jeśli mam splotową sieć neuronową (CNN), która ma około 1 000 000 parametrów, ile danych treningowych jest potrzebnych (zakładam, że wykonuję stochastyczne obniżanie gradientu)? Czy jest jakaś reguła? Dodatkowe uwagi: Kiedy wykonałem stochastyczne opadanie gradientu (np. 64 łaty na 1 iterację), po ~ 10000 iteracjach dokładność klasyfikatora może osiągnąć z …

15 machine-learning neural-networks deep-learning conv-neural-network

1

Dlaczego żaden ReLU nie może nauczyć się ReLU?

Jako kontynuacja Mojej sieci neuronowej nie mogę nawet nauczyć się odległości euklidesowej , uprościłem jeszcze bardziej i próbowałem wyszkolić jedną jednostkę ReLU (o losowej wadze) do jednej jednostki ReLU. Jest to najprostsza z dostępnych sieci, a mimo to w połowie przypadków nie jest ona zbieżna. Jeśli początkowe przypuszczenie jest w …

15 machine-learning neural-networks optimization keras

2

Jak aktualizowane są wagi w metodzie uczenia wsadowego w sieciach neuronowych?

Czy ktoś może mi powiedzieć, jak mam zbudować sieć neuronową przy użyciu metody wsadowej? Przeczytałem, że w trybie wsadowym dla wszystkich próbek w zestawie treningowym obliczamy błąd, deltę, a tym samym wagi delta dla każdego neuronu w sieci, a następnie zamiast natychmiastowej aktualizacji wag, kumulujemy je, a następnie przed rozpoczęciem …

15 machine-learning neural-networks

6

Dlaczego powinniśmy tasować dane podczas szkolenia sieci neuronowej?

Podczas mini-serii treningu sieci neuronowej usłyszałem, że ważną praktyką jest tasowanie danych treningowych przed każdą epoką. Czy ktoś może wyjaśnić, dlaczego pomieszanie w każdej epoce pomaga? W wyszukiwarce Google znalazłem następujące odpowiedzi: pomaga szybko zbiegać się treningowi zapobiega to stronniczości podczas treningu uniemożliwia modelowi nauczenie się kolejności szkolenia Mam jednak …

15 neural-networks

1

Dlaczego ważne jest uwzględnienie terminu korekty odchylenia dla optymalizatora Adama w przypadku głębokiego uczenia się?

Czytałem o optymalizatorze Adama do głębokiego uczenia się i natknąłem się na następujące zdanie w nowej książce Głębokie uczenie się autorstwa Begnio, Goodfellow i Courtville: Adam wprowadza korekty błędu wstępnego w szacunkach zarówno momentów pierwszego rzędu (okres pędu), jak i (niecentrowanych) momentów drugiego rzędu, aby uwzględnić ich inicjalizację u źródła. …

15 machine-learning neural-networks optimization conv-neural-network adam

1

Czy klątwa wymiarowa działa na niektóre modele bardziej niż na inne?

Miejsca, które czytałem o klątwie wymiarowej, wyjaśniają to przede wszystkim w odniesieniu do kNN, a ogólnie modeli liniowych. Regularnie widzę najlepszych rankingów w Kaggle korzystających z tysięcy funkcji w zbiorze danych, który prawie nie ma 100 000 punktów danych. Używają głównie drzew Boosted i NN. To, że wiele cech wydaje …

15 neural-networks svm k-means k-nearest-neighbour high-dimensional

1

Co wymiar VC mówi nam o głębokim uczeniu się?

W podstawowym uczeniu maszynowym uczymy się następujących „praktycznych zasad”: a) rozmiar twoich danych powinien być co najmniej 10 razy większy niż rozmiar VC twojego zestawu hipotez. b) sieć neuronowa z połączeniami N ma wymiar VC około N. Kiedy więc sieć neuronowa dogłębnie ucząca się mówi, miliony jednostek, czy to oznacza, …

15 machine-learning neural-networks deep-learning vc-dimension

4

Brak terminu regularyzacji dla jednostki odchylenia w sieci neuronowej

Zgodnie z tym samouczkiem na temat głębokiego uczenia się , odchudzanie (regularyzacja) zwykle nie jest stosowane do terminów stronniczości b dlaczego? Jakie jest za tym znaczenie (intuicja)?

15 machine-learning neural-networks bias regularization

Pytania otagowane jako neural-networks