Statystyki i duże zbiory danych deep-learning

5

Co powinienem zrobić, gdy moja sieć neuronowa się nie uczy?

Trenuję sieć neuronową, ale utrata treningu nie maleje. Jak mogę to naprawić? Nie pytam o nadmierne dopasowanie lub regularyzację. Pytam o sposób rozwiązania problemu, w którym wydajność mojej sieci nie poprawia się w zestawie szkoleniowym . To pytanie jest celowo ogólne, aby inne pytania dotyczące treningu sieci neuronowej można zamknąć …

146 neural-networks deep-learning

6

Jakie są zalety ReLU nad funkcją sigmoidalną w głębokich sieciach neuronowych?

Najnowszym stanem nieliniowości jest stosowanie rektyfikowanych jednostek liniowych (ReLU) zamiast funkcji sigmoidalnej w głębokiej sieci neuronowej. Jakie są zalety? Wiem, że szkolenie sieci przy użyciu ReLU byłoby szybsze i jest bardziej inspirowane biologicznie, jakie są inne zalety? (Czyli jakieś wady używania sigmoidu)?

141 machine-learning neural-networks deep-learning

4

Jaka jest różnica między splotowymi sieciami neuronowymi, ograniczonymi maszynami Boltzmanna i auto-koderami?

Ostatnio czytałem o głębokim uczeniu się i jestem zdezorientowany terminami (lub powiedzmy technologiami). Jaka jest różnica pomiędzy Konwolucyjne sieci neuronowe (CNN), Ograniczone maszyny Boltzmann (RBM) i Auto-enkodery?

123 neural-networks deep-learning conv-neural-network autoencoders rbm

10

Jaka jest różnica między siecią neuronową a głęboką siecią neuronową i dlaczego głębokie działają lepiej?

Nie widziałem dokładnie takiego pytania i dlatego zadaję nowe pytanie. To, co mnie interesuje, to nie definicja sieci neuronowej, ale zrozumienie faktycznej różnicy z głęboką siecią neuronową. Więcej kontekstu: wiem, czym jest sieć neuronowa i jak działa propagacja wsteczna. Wiem, że DNN musi mieć wiele ukrytych warstw. Jednak 10 lat …

113 neural-networks deep-learning

6

Co oznacza splot 1x1 w sieci neuronowej?

Obecnie prowadzę samouczek dogłębnej nauki Udacity. W lekcji 3 rozmawiają o zwoju 1x1. Ten splot 1x1 jest używany w module Google Inception. Mam problem ze zrozumieniem, czym jest splot 1x1. Widziałem również ten post przez Yann Lecun. Czy ktoś mógłby mi to wyjaśnić?

106 neural-networks deep-learning convolution conv-neural-network

4

Po co normalizować obrazy, odejmując średnią obrazową zestawu danych, zamiast aktualnej średniej w głębokim uczeniu się?

Istnieją pewne warianty normalizacji obrazów, ale większość wydaje się używać tych dwóch metod: Odejmij średnią na kanał obliczoną dla wszystkich zdjęć (np. VGG_ILSVRC_16_layers ) Odejmij według pikseli / kanałów obliczonych na wszystkich obrazach (np. CNN_S , zobacz także sieć referencyjną Caffe ) Moim zdaniem naturalne podejście do normalizacji każdego obrazu. …

88 deep-learning image-processing

4

Dlaczego sieci neuronowe stają się głębsze, ale nie szersze?

W ostatnich latach splotowe sieci neuronowe (lub ogólnie głębokie sieci neuronowe) stały się coraz głębsze, a najnowocześniejsze sieci przechodzą z 7 warstw ( AlexNet ) do 1000 warstw ( sieci resztkowych) na przestrzeni 4 lat Przyczyną wzrostu wydajności z głębszej sieci jest to, że można się nauczyć bardziej złożonej, nieliniowej …

73 machine-learning classification neural-networks deep-learning conv-neural-network

3

Dlaczego badaczom sieci neuronowych zależy na epokach?

Epoka stochastycznego spadku gradientu jest definiowana jako pojedyncze przejście przez dane. Dla każdego minibatchu SGD rysuje się kkk próbek, oblicza gradient i aktualizuje parametry. W ustawieniu epoki próbki są rysowane bez zamiany. Ale to wydaje się niepotrzebne. Dlaczego nie narysować każdego minibatchu SGD, gdy kkk losuje z całego zestawu danych …

69 neural-networks deep-learning gradient-descent

3

Jaka jest różnica między siecią neuronową a siecią głębokiego przekonania?

Odnoszę wrażenie, że gdy ludzie odnoszą się do sieci „głębokiego przekonania”, że jest to w zasadzie sieć neuronowa, ale bardzo duża. Czy jest to poprawne, czy też sieć głębokich przekonań sugeruje również, że sam algorytm jest inny (tj. Nie ma sieci neuronowej ze sprzężeniem zwrotnym, ale może coś z pętlami …

62 machine-learning neural-networks deep-learning deep-belief-networks

8

Biblioteki R do głębokiego uczenia się

Zastanawiałem się, czy są jakieś dobre biblioteki R do głębokiego uczenia sieci neuronowych? Wiem, że tam jest nnet, neuralneti RSNNS, ale żaden z nich nie wydają się wdrożyć głębokie metod nauczania. Szczególnie interesuje mnie nauka bez nadzoru, a następnie nadzorowane uczenie się, a także rezygnacja z pracy, aby zapobiec wspólnej …

56 r neural-networks deep-learning rbm deep-belief-networks

5

Korzystanie z głębokiego uczenia się do prognozowania szeregów czasowych

Jestem nowy w dziedzinie głębokiego uczenia się i dla mnie pierwszym krokiem było przeczytanie interesujących artykułów ze strony deeplearning.net. W artykułach o głębokim uczeniu się Hinton i inni mówią głównie o zastosowaniu go do problemów z obrazem. Czy ktoś może mi odpowiedzieć, czy można to zastosować do problemu przewidywania wartości …

54 time-series machine-learning prediction deep-learning deep-belief-networks

6

Optymalizator Adama z rozkładem wykładniczym

W większości kodów Tensorflow widziałem, że Adam Optimizer jest używany ze stałą szybkością uczenia się 1e-4(tj. 0,0001). Kod zwykle wygląda następująco: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added by AdamOptimizer(). init_op = …

53 neural-networks deep-learning gradient-descent tensorflow adam

3

Recurrent vs Recursive Neural Networks: Które rozwiązanie jest lepsze dla NLP?

Istnieją rekurencyjne sieci neuronowe i rekurencyjne sieci neuronowe. Oba są zwykle oznaczone tym samym akronimem: RNN. Według Wikipedii , Rekurencyjne NN są w rzeczywistości Rekurencyjne NN, ale tak naprawdę nie rozumiem wyjaśnienia. Co więcej, wydaje mi się, że nie znajduję lepszego (z przykładami) dla przetwarzania w języku naturalnym. Faktem jest, …

48 machine-learning neural-networks deep-learning natural-language

2

Dlaczego Konwolucyjne sieci neuronowe nie używają maszyny wektorów wsparcia do klasyfikacji?

W ostatnich latach Konwolucyjne sieci neuronowe (CNN) stały się najnowocześniejszymi urządzeniami do rozpoznawania obiektów w wizji komputerowej. Zazwyczaj CNN składa się z kilku warstw splotowych, po których następują dwie w pełni połączone warstwy. Za intuicją kryje się to, że warstwy splotowe uczą się lepszej reprezentacji danych wejściowych, a następnie w …

46 machine-learning neural-networks svm deep-learning conv-neural-network

1

Zrozumienie „prawie wszystkie lokalne minimum mają bardzo podobną wartość funkcji do globalnego optimum”

W ostatnim poście na blogu Rong Ge powiedziano, że: Uważa się, że w przypadku wielu problemów, w tym uczenia się sieci głębokich, prawie wszystkie lokalne minimum mają bardzo podobną wartość funkcji do globalnego optimum, a zatem znalezienie lokalnego minimum jest wystarczające. Skąd się bierze ta wiara?

46 machine-learning neural-networks optimization deep-learning

Pytania otagowane jako deep-learning