Statystyki i duże zbiory danych deep-learning

1

Co to jest klasyfikacja czasowa łączników (CTC)?

Szukam projektu optycznego rozpoznawania znaków (OCR). Po przeprowadzeniu badań natrafiłem na architekturę, która wydaje się interesująca: CNN + RNN + CTC. Znam zwinięte sieci neuronowe (CNN) i rekurencyjne sieci neuronowe (RNN), ale czym jest klasyfikacja czasowa łącznika (CTC)? Chciałbym wyjaśnienia w kategoriach laika.

15 machine-learning deep-learning conv-neural-network rnn

1

Co wymiar VC mówi nam o głębokim uczeniu się?

W podstawowym uczeniu maszynowym uczymy się następujących „praktycznych zasad”: a) rozmiar twoich danych powinien być co najmniej 10 razy większy niż rozmiar VC twojego zestawu hipotez. b) sieć neuronowa z połączeniami N ma wymiar VC około N. Kiedy więc sieć neuronowa dogłębnie ucząca się mówi, miliony jednostek, czy to oznacza, …

15 machine-learning neural-networks deep-learning vc-dimension

1

Jaka jest „pojemność” modelu uczenia maszynowego?

Studiuję ten samouczek na temat Autoencoderów wariacyjnych autorstwa Carla Doerscha . Na drugiej stronie znajduje się: Jednym z najpopularniejszych takich frameworków jest AutoCoder wariacyjny [1, 3], będący przedmiotem tego samouczka. Założenia tego modelu są słabe, a trening jest szybki dzięki propagacji wstecznej. Wartości VAE dokonują przybliżenia, ale błąd wprowadzony przez …

15 machine-learning deep-learning autoencoders variational-bayes

1

Dlaczego nie używamy niestałych wskaźników uczenia się dla gradientu przyzwoitego dla rzeczy innych niż sieci neuronowe?

Literatura dogłębnego uczenia się jest pełna sprytnych sztuczek z wykorzystaniem niestałych wskaźników uczenia się przy opadaniu gradientowym. Rzeczy takie jak rozkład wykładniczy, RMSprop, Adagrad itp. Są łatwe do wdrożenia i są dostępne w każdym pakiecie dogłębnego uczenia się, ale wydają się nie istnieć poza sieciami neuronowymi. Czy jest jakiś powód …

14 machine-learning deep-learning optimization gradient-descent

3

Głębokie sieci neuronowe - tylko do klasyfikacji obrazów?

Wszystkie przykłady, które znalazłem przy użyciu głębokiej wiary lub splotowych sieci neuronowych, wykorzystują je do klasyfikacji obrazu, wykrywania czatu lub rozpoznawania mowy. Czy głębokie sieci neuronowe są również przydatne w przypadku klasycznych zadań regresyjnych, w których cechy nie są ustrukturyzowane (np. Nie są ułożone w sekwencji lub siatce)? Jeśli tak, …

14 regression machine-learning neural-networks deep-learning

1

Czy jest jakaś różnica między szkoleniem stosu autokodera a dwuwarstwową siecią neuronową?

Powiedzmy, że piszę algorytm do budowy 2-warstwowego stosu samochodowego i 2-warstwowej sieci neuronowej. Czy są to te same rzeczy czy różnica? Rozumiem, że kiedy buduję autoencoder skumulowany, budowałem warstwa po warstwie. W przypadku sieci neuronowej zainicjowałbym wszystkie parametry w sieci, a następnie dla każdego punktu danych przekazałem ją przez sieć …

14 neural-networks deep-learning autoencoders

2

Jak wdrażany jest Przestrzenny rezygnacja z 2D?

Odnosi się to do artykułu Efektywna lokalizacja obiektu za pomocą sieci konwergentnych i z tego, co rozumiem, rezygnacja jest realizowana w 2D. Po odczytaniu kodu z Keras o tym, jak zaimplementowano Upadek przestrzenny 2D, w zasadzie implementowana jest losowa binarna maska kształtu [batch_size, 1, 1, num_channels]. Co jednak dokładnie robi …

14 machine-learning deep-learning tensorflow dropout

3

Dlaczego sieci neuronowe wymagają wyboru / inżynierii funkcji?

Zwłaszcza w kontekście zawodów kaggle zauważyłem, że wydajność modelu polega na wyborze / inżynierii funkcji. Chociaż w pełni rozumiem, dlaczego tak jest w przypadku bardziej konwencjonalnych / oldskulowych algorytmów ML, nie rozumiem, dlaczego tak jest w przypadku korzystania z głębokich sieci neuronowych. Powołując się na książkę Deep Learning: Głębokie uczenie …

14 neural-networks deep-learning feature-selection feature-engineering

2

Jak trenuje się warstwę osadzania w warstwie Osadzanie Keras

Jak trenuje się warstwę osadzania w warstwie osadzania Keras? (powiedzmy, używając backendu tensorflow, co oznacza, że jest podobny do word2vec, glove lub fasttext) Załóżmy, że nie stosujemy wstępnego przeszkolenia.

14 deep-learning keras word-embeddings

4

Sieć neuronowa do regresji wielokrotnego wyjścia

Mam zestaw danych zawierający 34 kolumny wejściowe i 8 kolumn wyjściowych. Jednym ze sposobów rozwiązania tego problemu jest pobranie 34 danych wejściowych i zbudowanie indywidualnego modelu regresji dla każdej kolumny wyjściowej. Zastanawiam się, czy ten problem można rozwiązać za pomocą tylko jednego modelu, szczególnie za pomocą sieci neuronowej. Użyłem perceptronu …

14 neural-networks deep-learning multivariate-regression

2

Co to jest Bayesian Deep Learning?

Co to jest Bayesian Deep Learning i jaki ma to związek z tradycyjnymi statystykami Bayesian i tradycyjnym Deep Learning? Jakie są główne pojęcia i matematyka? Czy mogę powiedzieć, że to tylko nieparametryczne statystyki bayesowskie? Jakie są jego przełomowe prace, a także obecne główne zmiany i zastosowania? PS: Bayesian Deep Learning …

13 bayesian deep-learning

1

Dlaczego nauka głębokiego wzmacniania jest niestabilna?

W artykule DeepMind z 2015 r. Na temat uczenia się głębokiego wzmacniania stwierdzono, że „poprzednie próby połączenia RL z sieciami neuronowymi były w dużej mierze nieudane z powodu niestabilnego uczenia się”. Następnie w artykule wymieniono niektóre przyczyny tego zjawiska, oparte na korelacjach między obserwacjami. Czy ktoś mógłby wyjaśnić, co to …

13 machine-learning neural-networks deep-learning reinforcement-learning

2

Dlaczego sieci neuronowe można łatwo oszukać?

Przeczytałem kilka artykułów na temat ręcznego tworzenia obrazów w celu „oszukania” sieci neuronowej (patrz poniżej). Czy to dlatego, że sieci modelują tylko prawdopodobieństwo warunkowe ? Jeśli sieć może modelować wspólne prawdopodobieństwo , czy takie przypadki nadal występują?p ( y , x )p ( y| x)p(y|x)p(y|x)p ( y, x )p(y,x)p(y,x) Domyślam …

13 machine-learning neural-networks deep-learning

1

Co oznacza „end to end” w metodach głębokiego uczenia się?

Chcę wiedzieć, co to jest i jak różni się od łączenia? Załóżmy, że chcę osiągnąć wysoką dokładność klasyfikacji i segmentacji dla konkretnego zadania, jeśli do tego celu używam różnych sieci, takich jak CNN, RNN itp., Czy jest to nazywane modelem typu end-to-end? (architektura?) czy nie?

13 machine-learning terminology deep-learning

1

Jakie są przydatne techniki powiększania danych dla głęboko splotowych sieci neuronowych?

Tło: Niedawno zrozumiałem na głębszym poziomie znaczenie powiększania danych podczas szkolenia splotowych sieci neuronowych po tym znakomitym przemówieniu Geoffreya Hintona . Wyjaśnia, że splotowe sieci neuronowe obecnej generacji nie są w stanie uogólnić układu odniesienia badanego obiektu, co utrudnia sieci zrozumienie, że lustrzane obrazy obiektu są takie same. Niektóre badania …

13 machine-learning deep-learning

Pytania otagowane jako deep-learning