Statystyki i duże zbiory danych neural-networks

4

Różnica między sprzężeniem zwrotnym RNN i LSTM / GRU

Próbuję zrozumieć różne architektury RNN (Recurrent Neural Network), które mają być zastosowane do danych szeregów czasowych, i zaczynam się mylić z różnymi nazwami, które są często używane przy opisywaniu RNN. Czy struktura Długiej pamięci krótkoterminowej (LSTM) i Gated Recurrent Unit (GRU) jest zasadniczo RNN z pętlą sprzężenia zwrotnego?

20 neural-networks lstm rnn

2

Po co w sieciach neuronowych używać metod gradientowych zamiast innych metaheurystyk?

Dlaczego podczas treningu głębokich i płytkich sieci neuronowych powszechnie stosuje się metody gradientowe (np. Opadanie gradientu, Niestierow, Newton-Raphson), w przeciwieństwie do innych metaheurystyk? Przez metaheurystykę rozumiem metody takie jak symulowane wyżarzanie, optymalizacja kolonii mrówek itp., Które zostały opracowane w celu uniknięcia utknięcia w lokalnych minimach.

20 neural-networks optimization deep-learning gradient-descent backpropagation

2

Jakie metody optymalizacji działają najlepiej w przypadku LSTM?

Używałem theano do eksperymentowania z LSTM i zastanawiałem się, jakie metody optymalizacji (SGD, Adagrad, Adadelta, RMSprop, Adam itp.) Działają najlepiej dla LSTM? Czy są jakieś prace badawcze na ten temat? Czy odpowiedź zależy również od rodzaju aplikacji, dla której używam LSTM? Jeśli tak, używam LSTM do klasyfikacji tekstu (gdzie tekst …

20 machine-learning neural-networks optimization lstm

2

Dlaczego propagacja wsteczna nie działa po zainicjowaniu wag o tej samej wartości?

Dlaczego propagacja wsteczna nie działa, gdy inicjujesz całą wagę o tej samej wartości (powiedzmy 0,5), ale działa dobrze, gdy otrzymujesz liczby losowe? Czy algorytm nie powinien obliczyć błędu i działać stamtąd, mimo że początkowo wagi są takie same?

20 machine-learning neural-networks backpropagation

5

Dogłębne uczenie się: skąd mam wiedzieć, które zmienne są ważne?

Jeśli chodzi o żargon sieci neuronowej (y = waga * x + odchylenie), skąd mam wiedzieć, które zmienne są ważniejsze od innych? Mam sieć neuronową z 10 wejściami, 1 ukrytą warstwą z 20 węzłami i 1 warstwą wyjściową, która ma 1 węzeł. Nie jestem pewien, jak się dowiedzieć, które zmienne …

20 machine-learning neural-networks bias tensorflow theano

4

Czy warto klasyfikować sygnał 1D za pomocą CNN?

Pracuję nad klasyfikacją etapu snu. Czytałem niektóre artykuły badawcze na ten temat, wiele z nich używało SVM lub metody ensemble. Czy dobrym pomysłem jest użycie splotowej sieci neuronowej do klasyfikacji jednowymiarowego sygnału EEG? Jestem nowy w tego rodzaju pracy. Wybacz mi, jeśli poproszę o coś złego?

20 neural-networks svm conv-neural-network signal-processing

3

Używanie RNN (LSTM) do przewidywania wektorów szeregów czasowych (Theano)

Mam bardzo prosty problem, ale nie mogę znaleźć odpowiedniego narzędzia do jego rozwiązania. Mam sekwencję wektorów o tej samej długości. Teraz chciałbym trenować LSTM RNN na próbce pociągu tych sekwencji, a następnie sprawić, by przewidział nową sekwencję wektorów o długości na podstawie kilku wektorów startowych .nnn Nie mogę znaleźć prostej …

19 neural-networks python lstm

3

Znaczenie węzła stronniczości w sieciach neuronowych

Ciekaw jestem, jak ważny jest węzeł stronniczości dla skuteczności nowoczesnych sieci neuronowych. Z łatwością rozumiem, że może to być ważne w płytkiej sieci z zaledwie kilkoma zmiennymi wejściowymi. Jednak współczesne sieci neuronowe, takie jak głębokie uczenie się, często mają dużą liczbę zmiennych wejściowych, które decydują, czy dany neuron zostanie wyzwolony. …

19 neural-networks deep-learning bias-node

2

Jak można wykorzystać rekurencyjne sieci neuronowe do klasyfikacji sekwencji?

RNN może być wykorzystywany do przewidywania lub mapowania sekwencji do sekwencji. Ale w jaki sposób można użyć RNN do klasyfikacji? Dajemy całej sekwencji jedną etykietę.

19 machine-learning neural-networks rnn

2

Co robią w pełni połączone warstwy w sieciach CNN?

Rozumiem warstwy splotowe i łączące, ale nie widzę powodu w pełni połączonej warstwy w sieciach CNN. Dlaczego poprzednia warstwa nie jest bezpośrednio połączona z warstwą wyjściową?

19 neural-networks deep-learning conv-neural-network

5

Jak przekodować zmienną kategorialną na zmienną numeryczną podczas korzystania z SVM lub sieci neuronowej

Aby użyć SVM lub sieci neuronowej, należy przekształcić (zakodować) zmienne kategorialne w zmienne numeryczne, normalną metodą w tym przypadku jest użycie wartości binarnych 0-1 z przekształconą k-tą wartością kategorialną na (0,0, .. ., 1,0, ... 0) (1 jest w pozycji k-tej). Czy istnieją inne metody, aby to zrobić, zwłaszcza gdy …

19 machine-learning neural-networks categorical-data svm categorical-encoding

2

Znaczenie sieci neuronowej jako czarnej skrzynki?

Często słyszę ludzi rozmawiających o sieciach neuronowych jako czegoś w rodzaju czarnej skrzynki, której nie rozumiesz, co to znaczy lub co one oznaczają. Właściwie nie rozumiem, co przez to rozumieją! Jeśli rozumiesz, jak działa propagacja wsteczna, jak to jest czarna skrzynka? Czy oznaczają, że nie rozumiemy, w jaki sposób obliczone …

19 machine-learning neural-networks

2

Algorytm wstecznej propagacji

Mam lekką dezorientację na wstecznej propagacji błędów algorytmu stosowanego w perceptronu wielowarstwowego (MLP). Błąd jest regulowana przez funkcję kosztów. W wstecznej propagacji błędów, staramy się dostosować ciężar warstw ukrytych. Błąd wyjściowy, który rozumiem, to znaczy e = d - y[Bez indeksów dolnych]. Pytania są następujące: W jaki sposób można uzyskać …

19 machine-learning neural-networks backpropagation

1

Optymalna konstrukcja funkcji dnia w sieciach neuronowych

Pracując nad problemem regresji, zacząłem myśleć o przedstawieniu funkcji „dzień tygodnia”. Zastanawiam się, które podejście działałoby lepiej: jedna cecha; wartość 1/7 dla poniedziałku; 2/7 na wtorek ... 7 funkcji: (1, 0, 0, 0, 0, 0, 0) na poniedziałek; (0, 1, 0, 0, 0, 0, 0) na wtorek ... Trudno to …

19 machine-learning neural-networks feature-construction

3

Czy sieci neuronowe uczą się funkcji lub funkcji gęstości prawdopodobieństwa?

Pytanie może brzmieć nieco dziwnie, ponieważ jestem nowy w wnioskowaniu statystycznym i sieciach neuronowych. Kiedy w problemach z klasyfikacją za pomocą sieci neuronowych mówimy, że chcemy nauczyć się funkcji która odwzorowuje przestrzeń wejściową na przestrzeń wyjściową :f∗f∗f^*xxxyyy f∗(x;θ)=yf∗(x;θ)=yf^*(x; \theta) = y Czy dopasowujemy parametry ( ) do modelowania funkcji nieliniowej …

19 machine-learning neural-networks

Pytania otagowane jako neural-networks