Statystyki i duże zbiory danych neural-networks

3

Wielowymiarowa regresja liniowa a sieć neuronowa?

Wydaje się, że w niektórych przypadkach można uzyskać podobne wyniki do sieci neuronowej z wielowymiarową regresją liniową, a wielowymiarowa regresja liniowa jest bardzo szybka i łatwa. W jakich okolicznościach sieci neuronowe mogą dawać lepsze wyniki niż wielowymiarowa regresja liniowa?

54 regression multiple-regression neural-networks

6

Optymalizator Adama z rozkładem wykładniczym

W większości kodów Tensorflow widziałem, że Adam Optimizer jest używany ze stałą szybkością uczenia się 1e-4(tj. 0,0001). Kod zwykle wygląda następująco: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added by AdamOptimizer(). init_op = …

53 neural-networks deep-learning gradient-descent tensorflow adam

5

Sieci neuronowe vs maszyny wektorów wspierających: czy drugi jest zdecydowanie lepszy?

Wielu autorów artykułów, które czytałem, potwierdza, że SVM to doskonała technika stawienia czoła ich problemom z regresją / klasyfikacją, wiedząc, że nie mogą uzyskać podobnych wyników za pośrednictwem NN. Często porównanie to stwierdza SVM zamiast NN, Mają silną teorię założycielską Osiągnij globalne maksimum dzięki programowaniu kwadratowemu Nie ma problemu z …

52 machine-learning svm neural-networks

2

W jaki sposób sztuczna sieć neuronowa ANN może być wykorzystywana do klastrowania bez nadzoru?

Rozumiem, w jaki sposób artificial neural network (ANN)można trenować w nadzorowany sposób, stosując propagację wsteczną, aby poprawić dopasowanie, zmniejszając błąd w prognozach. Słyszałem, że ANN można wykorzystać do nauki bez nadzoru, ale jak można tego dokonać bez jakiejś funkcji kosztowej, która poprowadziłaby etapy optymalizacji? W przypadku k-średnich lub algorytmu EM …

52 clustering neural-networks unsupervised-learning self-organizing-maps

1

Jak duży powinien być rozmiar partii dla stochastycznego spadku gradientu?

Rozumiem, że stochastyczne zejście gradientu może być wykorzystane do optymalizacji sieci neuronowej z wykorzystaniem propagacji wstecznej poprzez aktualizację każdej iteracji inną próbką zestawu danych szkoleniowych. Jak duży powinien być rozmiar partii?

49 machine-learning neural-networks gradient-descent backpropagation

3

Dlaczego regresja logistyczna jest klasyfikatorem liniowym?

Skoro używamy funkcji logistycznej do przekształcania liniowej kombinacji danych wejściowych w nieliniowe dane wyjściowe, w jaki sposób regresję logistyczną można uznać za klasyfikator liniowy? Regresja liniowa jest jak sieć neuronowa bez warstwy ukrytej, więc dlaczego sieci neuronowe są uważane za klasyfikatory nieliniowe, a regresja logistyczna jest liniowa?

49 logistic classification neural-networks

3

Recurrent vs Recursive Neural Networks: Które rozwiązanie jest lepsze dla NLP?

Istnieją rekurencyjne sieci neuronowe i rekurencyjne sieci neuronowe. Oba są zwykle oznaczone tym samym akronimem: RNN. Według Wikipedii , Rekurencyjne NN są w rzeczywistości Rekurencyjne NN, ale tak naprawdę nie rozumiem wyjaśnienia. Co więcej, wydaje mi się, że nie znajduję lepszego (z przykładami) dla przetwarzania w języku naturalnym. Faktem jest, …

48 machine-learning neural-networks deep-learning natural-language

2

Dlaczego Konwolucyjne sieci neuronowe nie używają maszyny wektorów wsparcia do klasyfikacji?

W ostatnich latach Konwolucyjne sieci neuronowe (CNN) stały się najnowocześniejszymi urządzeniami do rozpoznawania obiektów w wizji komputerowej. Zazwyczaj CNN składa się z kilku warstw splotowych, po których następują dwie w pełni połączone warstwy. Za intuicją kryje się to, że warstwy splotowe uczą się lepszej reprezentacji danych wejściowych, a następnie w …

46 machine-learning neural-networks svm deep-learning conv-neural-network

1

Zrozumienie „prawie wszystkie lokalne minimum mają bardzo podobną wartość funkcji do globalnego optimum”

W ostatnim poście na blogu Rong Ge powiedziano, że: Uważa się, że w przypadku wielu problemów, w tym uczenia się sieci głębokich, prawie wszystkie lokalne minimum mają bardzo podobną wartość funkcji do globalnego optimum, a zatem znalezienie lokalnego minimum jest wystarczające. Skąd się bierze ta wiara?

46 machine-learning neural-networks optimization deep-learning

6

Jakie są alternatywy Gradient Descent?

Zejście z gradientem ma problem z utknięciem w lokalnych minimach. Musimy uruchomić czasy wykładnicze spadku gradientu, aby znaleźć globalne minima. Czy ktoś może mi powiedzieć o jakichkolwiek alternatywach gradientu zejścia stosowanych w uczeniu się sieci neuronowej, a także o ich zaletach i wadach.

46 machine-learning svm neural-networks

1

Różnica między GradientDescentOptimizer a AdamOptimizer (TensorFlow)?

Napisałem prosty MLP w TensorFlow, który modeluje bramę XOR . Więc dla: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] powinien produkować: output_data = [[0.], [1.], [1.], [0.]] Sieć ma warstwę wejściową, warstwę ukrytą i warstwę wyjściową z 2, 5 i 1 neuronem. Obecnie mam następującą entropię krzyżową: …

45 machine-learning neural-networks error gradient-descent supervised-learning

1

Jak działa metoda Adama stochastycznego spadku gradientu?

Jestem zaznajomiony z podstawowymi algorytmami spadku gradientu do szkolenia sieci neuronowych. Czytałem artykuł proponujący Adam: ADAM: METODA OPTYMALIZACJI STOCHASTYCZNEJ . Chociaż zdecydowanie mam pewne spostrzeżenia (przynajmniej), papier wydaje się być dla mnie ogólnie za wysoki. Na przykład funkcja kosztu jest często sumą wielu różnych funkcji, dlatego w celu zoptymalizowania jej …

45 neural-networks optimization gradient-descent adam

4

W jaki sposób jądra są stosowane do map obiektów w celu tworzenia innych map obiektów?

Próbuję zrozumieć część splotową sieci neuronowych splotowych. Patrząc na następujący rysunek: Nie mam problemów ze zrozumieniem pierwszej warstwy splotu, w której mamy 4 różne jądra (o wielkości ), które splatamy z obrazem wejściowym, aby uzyskać 4 mapy cech.k × kk×kk \times k To, czego nie rozumiem, to kolejna warstwa splotu, …

44 machine-learning neural-networks deep-learning conv-neural-network

4

Która funkcja aktywacji dla warstwy wyjściowej?

Chociaż wybór funkcji aktywacji dla ukrytej warstwy jest dość jasny (głównie sigmoid lub tanh), zastanawiam się, jak zdecydować o funkcji aktywacji dla warstwy wyjściowej. Często wybierane są funkcje liniowe, funkcje sigmoidalne i funkcje softmax. Kiedy jednak powinienem użyć tego?

44 neural-networks

7

Referencje sieci neuronowej (podręczniki, kursy online) dla początkujących

Chcę nauczyć się sieci neuronowych. Jestem lingwistą komputerowym. Znam statystyczne metody uczenia maszynowego i potrafię kodować w Pythonie. Chciałbym zacząć od jego koncepcji i znam jeden lub dwa popularne modele, które mogą być przydatne z perspektywy językoznawstwa komputerowego. Przeglądałem sieć w celach informacyjnych i znalazłem kilka książek i materiałów. Ripley, …

43 neural-networks deep-learning references natural-language computer-vision

Pytania otagowane jako neural-networks