Statystyki i duże zbiory danych neural-networks

2

Sieć neuronowa: do klasyfikacji binarnej użyj 1 lub 2 neuronów wyjściowych?

Załóżmy, że chcę dokonać klasyfikacji binarnej (coś należy do klasy A lub klasy B). Istnieje kilka możliwości, aby to zrobić w warstwie wyjściowej sieci neuronowej: Użyj 1 węzła wyjściowego. Wyjście 0 (<0,5) jest uważane za klasę A, a 1 (> = 0,5) jest uważane za klasę B (w przypadku sigmoidu) …

26 machine-learning classification neural-networks

1

Strata treningowa spada i rośnie. Co się dzieje?

Moja strata treningowa spada, a potem znowu rośnie. To jest bardzo dziwne. Strata weryfikacji krzyżowej śledzi utratę treningu. Co się dzieje? Mam dwa skumulowane LSTMS w następujący sposób (na Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') Trenuję to przez 100 epok: …

26 machine-learning neural-networks loss-functions lstm

4

Sieć neuronowa z połączeniami pomijanymi

Interesuje mnie regresja z sieciami neuronowymi. Sieci neuronowe z zerowymi ukrytymi węzłami + połączenia warstwy pomijanej są modelami liniowymi. Co z tymi samymi sieciami neuronowymi, ale z ukrytymi węzłami? Zastanawiam się, jaka byłaby rola połączeń pominięcia warstwy? Intuicyjnie powiedziałbym, że jeśli uwzględnisz połączenia pominięcia warstwy, wówczas model końcowy będzie sumą …

26 regression machine-learning neural-networks deep-learning

5

Jaka jest różnica między splotowymi sieciami neuronowymi a głębokim uczeniem się?

Chcę wykorzystać głębokie uczenie się w moim projekcie. Przejrzałem kilka artykułów i przyszło mi do głowy pytanie: czy jest jakaś różnica między siecią neuronową splotu a głębokim uczeniem się? Czy te rzeczy są takie same, czy różnią się między sobą, a co jest lepsze?

25 machine-learning neural-networks deep-learning terminology conv-neural-network

8

Dlaczego tak ważne jest posiadanie zasadniczych i matematycznych teorii uczenia maszynowego?

Zastanawiam się, dlaczego tak ważne jest posiadanie zasadniczego / teoretycznego uczenia maszynowego? Z osobistego punktu widzenia, jako człowiek, rozumiem, dlaczego uczenie maszynowe oparte na zasadach jest tak ważne: ludzie lubią rozumieć, co robią, my rozumiemy piękno i satysfakcję. z teoretycznego punktu widzenia matematyka jest zabawna kiedy istnieją zasady, które kierują …

25 machine-learning neural-networks conv-neural-network theory

6

Jak sieć neuronowa rozpoznaje obrazy?

To pytanie zostało przeniesione z przepełnienia stosu, ponieważ można na nie odpowiedzieć w ramach weryfikacji krzyżowej. Migrował 7 lat temu . Próbuję dowiedzieć się, jak sieć neuronowa działa na rozpoznawanie obrazów. Widziałem kilka przykładów i stałem się jeszcze bardziej zdezorientowany. W przykładzie rozpoznawania liter obrazu 20 x 20 wartości każdego …

25 machine-learning neural-networks image-processing

6

Czy w przypadku problemów wypukłych gradient w Stochastic Descent Gradient (SGD) zawsze wskazuje na ekstremalną wartość globalną?

Biorąc pod uwagę funkcję wypukłego kosztu, wykorzystującą SGD do optymalizacji, będziemy mieli gradient (wektor) w pewnym punkcie podczas procesu optymalizacji. Moje pytanie brzmi: biorąc pod uwagę punkt na wypukłości, czy gradient wskazuje tylko w kierunku, w którym funkcja rośnie / zmniejsza się najszybciej, czy gradient zawsze wskazuje na optymalny / …

25 neural-networks optimization gradient-descent sgd convex

10

Dlaczego nie porzucić sieci neuronowych i głębokiego uczenia się? [Zamknięte]

Zamknięte . To pytanie jest oparte na opiniach . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby można było na nie odpowiedzieć faktami i cytatami, edytując ten post . Zamknięte 2 lata temu . Podstawowy problem z głębokim uczeniem się i ogólnie sieciami neuronowymi. Rozwiązania pasujące do …

25 machine-learning neural-networks svm deep-learning

3

Jakie są zalety układania wielu LSTM?

Jakie są zalety, dlaczego warto korzystać z wielu LSTM, ułożonych jeden obok drugiego, w sieci głębokiej? Używam LSTM do reprezentowania sekwencji danych wejściowych jako pojedynczego wejścia. Więc kiedy mam tę pojedynczą reprezentację - dlaczego miałbym ją powtórzyć? Pytam o to, ponieważ widziałem to w programie generowania języka naturalnego.

25 classification neural-networks deep-learning lstm rnn

1

Dlaczego skorygowane jednostki liniowe są uważane za nieliniowe?

Dlaczego funkcje aktywacji rektyfikowanych jednostek liniowych (ReLU) są uważane za nieliniowe? f(x)=max(0,x)f(x)=max(0,x) f(x) = \max(0,x) Są one liniowe, gdy dane wejściowe są dodatnie i z mojego zrozumienia, aby odblokować reprezentatywną moc głębokich sieci, nieliniowe aktywacje są koniecznością, w przeciwnym razie cała sieć mogłaby być reprezentowana przez pojedynczą warstwę.

25 neural-networks deep-learning

3

Jaki jest powód, dla którego Adam Optimizer jest uważany za odporny na wartość swoich hiper parametrów?

Czytałem o optymalizatorze Adama do głębokiego uczenia się i natknąłem się na następujące zdanie w nowej książce Deep Learning autorstwa Bengio, Goodfellow i Courville: Adam jest ogólnie uważany za dość odpornego na wybór hiper parametrów, chociaż szybkość uczenia się czasami trzeba zmienić w stosunku do sugerowanego domyślnego. jeśli to prawda, …

24 neural-networks deep-learning optimization hyperparameter adam

4

Czego możemy się nauczyć o ludzkim mózgu ze sztucznych sieci neuronowych?

Wiem, że moje pytanie / tytuł nie jest zbyt szczegółowe, dlatego postaram się je wyjaśnić: Sztuczne sieci neuronowe mają stosunkowo ścisłe konstrukcje. Oczywiście na ogół mają na nie wpływ biologia i próbują zbudować matematyczny model prawdziwych sieci neuronowych, ale nasze zrozumienie prawdziwych sieci neuronowych jest niewystarczające do zbudowania dokładnych modeli. …

24 machine-learning neural-networks bioinformatics artificial-intelligence neuroscience

2

Autoencodery nie mogą nauczyć się istotnych funkcji

Mam 50 000 obrazów takich jak te dwa: Przedstawiają wykresy danych. Chciałem wydobyć funkcje z tych obrazów, więc użyłem kodu autoencodera dostarczonego przez Theano (deeplearning.net). Problem polega na tym, że te autoencodery wydają się nie uczyć żadnych funkcji. Próbowałem RBM i to samo. Zestaw danych MNIST zapewnia ładne funkcje, ale …

24 machine-learning neural-networks feature-construction rbm autoencoders

2

W jaki sposób CNN Kriżewskiego '12 dostaje 253 440 neuronów w pierwszej warstwie?

W Alex Krizhevsky i in. Klasyfikacja Imagenet z głębokimi splotowymi sieciami neuronowymi wyliczają liczbę neuronów w każdej warstwie (patrz diagram poniżej). Dane wejściowe sieci są 150 528-wymiarowe, a liczba neuronów w pozostałych warstwach sieci wynosi 253 340–186,624–64 896–64 8896–43,264– 4096–4096–1000. Widok 3D Liczba neuronów dla wszystkich warstw po pierwszej jest …

24 neural-networks deep-learning conv-neural-network

2

Jaka jest różnica między rezygnacją a połączeniem przez połączenie?

Jaka jest różnica między rezygnacją a połączeniem przez połączenie? AFAIK, dropout losowo zrzuca ukryte węzły podczas treningu, ale utrzymuje je w testach, a drop connect zrzuca połączenia. Ale czy zrywanie połączeń nie jest równoważne z usuwaniem ukrytych węzłów? Czy węzły (lub połączenia) nie są tylko zestawem wag?

24 neural-networks dropout

Pytania otagowane jako neural-networks