Statystyki i duże zbiory danych machine-learning

1

W jaki sposób CNN unikają problemu znikającego gradientu

Dużo czytałem o splotowych sieciach neuronowych i zastanawiałem się, w jaki sposób unikają problemu znikającego gradientu. Wiem, że sieci głębokiego przekonania stosują auto-kodery jednopoziomowe lub inne wstępnie wyszkolone płytkie sieci, dzięki czemu mogę uniknąć tego problemu, ale nie wiem, jak można go uniknąć w sieciach CNN. Według Wikipedii : „pomimo …

15 machine-learning optimization deep-learning gradient-descent

4

Ile danych potrzebujesz do splotowej sieci neuronowej?

Jeśli mam splotową sieć neuronową (CNN), która ma około 1 000 000 parametrów, ile danych treningowych jest potrzebnych (zakładam, że wykonuję stochastyczne obniżanie gradientu)? Czy jest jakaś reguła? Dodatkowe uwagi: Kiedy wykonałem stochastyczne opadanie gradientu (np. 64 łaty na 1 iterację), po ~ 10000 iteracjach dokładność klasyfikatora może osiągnąć z …

15 machine-learning neural-networks deep-learning conv-neural-network

4

Znaczenie ukrytych cech?

Próbuję zrozumieć modele faktoryzacji macierzy dla systemów rekomendujących i zawsze czytam „ukryte funkcje”, ale co to znaczy? Wiem, co oznacza funkcja dla zestawu danych szkoleniowych, ale nie jestem w stanie zrozumieć idei ukrytych funkcji. Każdy artykuł na ten temat, który mogę znaleźć, jest po prostu zbyt płytki. Edytować: jeśli przynajmniej …

15 machine-learning data-mining recommender-system

3

Regularyzacja i skalowanie funkcji w nauczaniu online?

Powiedzmy, że mam klasyfikator regresji logistycznej. Podczas normalnego uczenia wsadowego stosuję termin regulizujący, aby zapobiec nadmiernemu dopasowaniu i utrzymać moją wagę na niskim poziomie. Normalizowałbym również i skalował moje funkcje. W ustawieniach do nauki online otrzymuję ciągły strumień danych. Z każdym przykładem wykonuję aktualizację spadku gradientu, a następnie ją odrzucam. …

15 machine-learning normalization regularization online

3

Jak wybrać metrykę błędu podczas oceny klasyfikatora?

Widziałem różne wskaźniki błędów stosowane w konkursach Kaggle: między innymi RMS, średnia kwadratowa, AUC. Jaka jest ogólna ogólna zasada wyboru metryki błędu, tj. Skąd wiesz, którą metrykę błędu należy zastosować dla danego problemu? Czy są jakieś wytyczne?

15 machine-learning classification error

4

Zalety krzywych ROC

Jakie są zalety krzywych ROC? Na przykład klasyfikuję niektóre obrazy, co jest problemem klasyfikacji binarnej. Wyodrębniłem około 500 obiektów i zastosowałem algorytm wyboru cech, aby wybrać zestaw cech, a następnie zastosowałem SVM do klasyfikacji. W takim przypadku jak mogę uzyskać krzywą ROC? Czy powinienem zmienić wartości progowe mojego algorytmu wyboru …

15 machine-learning roc

7

Jakiego algorytmu uczenia maszynowego można użyć do przewidywania rynku akcji?

Alternatywnie, aby przewidzieć rynki walutowe. Wiem, że może to być dość skomplikowane, więc na wstępie szukam prostego algorytmu przewidywania, który ma pewną dokładność. (Dotyczy projektu uniwersyteckiego trwającego cztery miesiące) Czytałem, że wielowarstwowa sieć neuronowa może być przydatna. Masz jakieś przemyślenia na ten temat? Ponadto semantyczna analiza mediów społecznościowych może zapewnić …

15 machine-learning finance

5

Który algorytm klasyfikacji statystycznej może przewidzieć wartość prawda / fałsz dla sekwencji danych wejściowych?

Biorąc pod uwagę sekwencję danych wejściowych, muszę ustalić, czy sekwencja ta ma pewną pożądaną właściwość. Właściwość może być tylko prawdą lub fałszem, tzn. Istnieją tylko dwie możliwe klasy, do których może należeć sekwencja. Dokładny związek między sekwencją a właściwością jest niejasny, ale uważam, że jest bardzo spójny i powinien podlegać …

15 machine-learning classification modeling

1

Dlaczego żaden ReLU nie może nauczyć się ReLU?

Jako kontynuacja Mojej sieci neuronowej nie mogę nawet nauczyć się odległości euklidesowej , uprościłem jeszcze bardziej i próbowałem wyszkolić jedną jednostkę ReLU (o losowej wadze) do jednej jednostki ReLU. Jest to najprostsza z dostępnych sieci, a mimo to w połowie przypadków nie jest ona zbieżna. Jeśli początkowe przypuszczenie jest w …

15 machine-learning neural-networks optimization keras

3

Jaka jest maksymalna wartość dywergencji Kullbacka-Leiblera (KL)

Zamierzam użyć rozbieżności KL w moim kodzie python i mam ten samouczek . W tym samouczku wdrożenie rozbieżności KL jest dość proste. kl = (model * np.log(model/actual)).sum() Jak rozumiem, rozkład prawdopodobieństwa modeli actualpowinien wynosić <= 1. Moje pytanie brzmi: jaka jest maksymalna związana / maksymalna możliwa wartość k ?. Muszę …

15 machine-learning distance kullback-leibler

3

Metody obejścia problemu braku danych w uczeniu maszynowym

Praktycznie każda baza danych, w której chcemy przewidywać za pomocą algorytmów uczenia maszynowego, znajdzie brakujące wartości niektórych cech. Istnieje kilka podejść do rozwiązania tego problemu, aby wykluczyć linie, w których brakuje wartości, dopóki nie wypełnią się średnimi wartościami cech. Chciałbym zastosować nieco bardziej niezawodne podejście, które zasadniczo uruchomiłoby regresję (lub …

15 machine-learning scikit-learn data-imputation

2

Co to jest błąd Bayesa w uczeniu maszynowym?

http://www.deeplearningbook.org/contents/ml.html Strona 116 wyjaśnia błąd Bayesa jak poniżej Idealny model to wyrocznia, która po prostu zna prawdziwy rozkład prawdopodobieństwa, który generuje dane. Nawet taki model nadal będzie powodował błąd w wielu problemach, ponieważ może nadal występować szum w dystrybucji. W przypadku uczenia nadzorowanego mapowanie od x do y może być …

15 machine-learning deep-learning terminology

2

Co to jest „linia bazowa” w precyzyjnej krzywej przywołania

Próbuję zrozumieć krzywą przywołania precyzji, rozumiem, na czym polega precyzja i przywołanie, ale nie rozumiem wartości „podstawowej”. Czytałem ten link https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/ i nie rozumiem części podstawowej, jak pokazano w „Krzywej precyzji-przywołania doskonałego klasyfikatora”, co to robi? i jak to obliczyć? Czy to tylko losowa linia bazowa, którą wybraliśmy? Na przykład …

15 r machine-learning classification precision-recall

2

Jak aktualizowane są wagi w metodzie uczenia wsadowego w sieciach neuronowych?

Czy ktoś może mi powiedzieć, jak mam zbudować sieć neuronową przy użyciu metody wsadowej? Przeczytałem, że w trybie wsadowym dla wszystkich próbek w zestawie treningowym obliczamy błąd, deltę, a tym samym wagi delta dla każdego neuronu w sieci, a następnie zamiast natychmiastowej aktualizacji wag, kumulujemy je, a następnie przed rozpoczęciem …

15 machine-learning neural-networks

1

W tym warunki interakcji w losowym lesie

Załóżmy, że mamy odpowiedź Y i predyktory X1, ...., Xn. Gdybyśmy spróbowali dopasować Y za pomocą liniowego modelu X1, ...., Xn, i tak się po prostu stało, że prawdziwy związek między Y i X1, ..., Xn nie był liniowy, moglibyśmy naprawić model, przekształcając jakoś X, a następnie dopasowując model. Co …

15 machine-learning random-forest

Pytania otagowane jako machine-learning