Statystyki i duże zbiory danych machine-learning

5

Jak decydujesz, jaki jest twój pociąg, walidacja i procent testów?

Podczas podziału moich oznaczonych danych na zestawy szkoleniowe, walidacyjne i testowe słyszałem wszystko od 50/25/25 do 85/5/10. Jestem pewien, że zależy to od tego, w jaki sposób zamierzasz używać swojego modelu i od tego, jak podatna jest na nadmierne dopasowanie algorytmu uczenia się. Czy istnieje sposób, aby zdecydować, czy to …

10 machine-learning cross-validation

1

Statystyki dotyczące uczenia maszynowego, dokumenty na początek?

Mam doświadczenie w programowaniu komputerowym i elementarnej teorii liczb, ale nie mam prawdziwego treningu statystycznego, a ostatnio „odkryłem”, że niesamowity świat całej gamy technik jest w rzeczywistości światem statystycznym. Wydaje się, że faktoryzacje macierzy, kompletacja macierzy, tensory wielowymiarowe, osadzanie, szacowanie gęstości, wnioskowanie bayesowskie, partycje Markowa, obliczenia własne, PageRank są technikami …

10 machine-learning estimation

1

Czy model P (Y | X) można wytrenować za pomocą stochastycznego spadku gradientu z nie-iidowych próbek P (X) i iidowych próbek P (Y | X)?

Podczas uczenia sparametryzowanego modelu (np. W celu zmaksymalizowania prawdopodobieństwa) za pomocą stochastycznego spadku gradientowego na niektórych zbiorach danych, powszechnie przyjmuje się, że próbki szkoleniowe są pobierane z rozkładu danych szkoleniowych. Jeśli więc celem jest modelowanie wspólnego rozkładu , to każda próbka treningowa powinna zostać pobrana z tego rozkładu.( x i …

10 machine-learning conditional-probability reinforcement-learning gradient-descent

3

Jaki jest najbardziej efektywny sposób szkolenia danych przy użyciu najmniejszej ilości pamięci?

Oto moje dane treningowe: 200 000 przykładów x 10 000 funkcji. Zatem moja macierz danych treningowych wynosi - 200 000 x 10 000. Udało mi się zapisać to w płaskim pliku bez problemów z pamięcią, zapisując każdy zestaw danych jeden po drugim (jeden przykład po drugim) podczas generowania funkcji dla …

10 machine-learning dataset algorithms python

2

Normalizacja

Istnieje wiele metod przeprowadzania regularyzacji - na przykład regularyzacja oparta na normach , L 1 i L 2 . Według Friedmana Hastie & Tibsharani , najlepszy regulizator zależy od problemu: mianowicie charakteru prawdziwej funkcji celu, konkretnej zastosowanej podstawy, stosunku sygnału do szumu i wielkości próbki.L.0L0L_0L.1L1L_1L.2)L2L_2 Czy istnieją badania empiryczne porównujące …

10 r regression machine-learning regularization

3

Jak porównać dokładność dwóch różnych modeli przy użyciu istotności statystycznej

Pracuję nad prognozami szeregów czasowych. Muszę dwa zestawy danych D 1 = { x1, x2), . . . . xn}re1={x1,x2),....xn}D1=\{x_1, x_2,....x_n\} i D 2 = { xn+ 1 , xn+ 2 , xn+ 3 , . . . . , xn+ k }re2)={xn+1,xn+2),xn+3),....,xn+k}D2=\{x_n+1, x_n+2, x_n+3,...., x_n+k\} . Mam trzy modele …

10 time-series machine-learning statistical-significance classification model-evaluation

3

Odnośnie użycia modelu Bigram (N-gram) do budowy wektora cech dla dokumentu tekstowego

Tradycyjne podejście do konstruowania obiektów do eksploracji tekstu jest oparte na zasadzie work-of-words i można je ulepszyć za pomocą tf-idf do konfigurowania wektora cech charakteryzującego dany dokument tekstowy. Obecnie próbuję użyć bi-gramowego modelu językowego lub (N-gram) do budowy wektora cech, ale nie bardzo wiesz, jak to zrobić? Czy możemy postępować …

10 machine-learning data-mining text-mining natural-language language-models

1

Poza jądrem Fishera

Przez pewien czas wydawało się, że jądra Fishera mogą stać się popularne, ponieważ wydają się być sposobem na konstruowanie jąder z modeli probabilistycznych. Rzadko jednak widywałem je w praktyce i mam dobry autorytet, że nie działają zbyt dobrze. Opierają się na obliczeniach Fisher Information - cytując Wikipedię: informacja Fishera jest …

10 machine-learning probability kernel-trick generative-models

1

Radzenie sobie z bardzo dużymi zestawami danych szeregów czasowych

Mam dostęp do bardzo dużego zestawu danych. Dane pochodzą z nagrań MEG osób słuchających fragmentów muzycznych z jednego z czterech gatunków. Dane są następujące: 6 tematów 3 eksperymentalne powtórzenia (epoki) 120 prób na epokę 8 sekund danych na próbę przy 500 Hz (= 4000 próbek) z 275 kanałów MEG Każdy …

10 machine-learning feature-selection large-data feature-construction

3

Podejścia przy uczeniu się z ogromnych zestawów danych?

Zasadniczo istnieją dwa typowe sposoby uczenia się przeciwko ogromnym zestawom danych (gdy napotykasz ograniczenia czasowe / przestrzenne): Oszukiwanie :) - użyj tylko „zarządzalnego” podzbioru do treningu. Utrata dokładności może być nieistotna z uwagi na prawo malejących zwrotów - predykcyjne działanie modelu często spłaszcza się na długo przed włączeniem do niego …

10 machine-learning large-data model-evaluation train

1

Czy MFCC są optymalną metodą reprezentowania muzyki w systemie pobierania?

Technika przetwarzania sygnału, Mel Cepstrum , jest często używana do wydobywania informacji z utworu muzycznego w celu wykorzystania go w zadaniu uczenia maszynowego. Ta metoda daje krótkoterminowe spektrum mocy, a współczynniki są wykorzystywane jako dane wejściowe. Przy projektowaniu systemów wyszukiwania muzyki takie współczynniki są uważane za charakterystyczne dla danego utworu …

10 machine-learning classification signal-processing mfcc

8

Jakiego algorytmu można użyć do przewidywania zużycia materiałów eksploatacyjnych na podstawie danych z poprzednich zakupów?

Myśląc o rzekomo prostym, ale interesującym problemie, chciałbym napisać kod do prognozowania materiałów eksploatacyjnych, których będę potrzebować w najbliższej przyszłości, biorąc pod uwagę pełną historię moich poprzednich zakupów. Jestem pewien, że ten rodzaj problemu ma bardziej ogólną i dobrze przestudiowaną definicję (ktoś zasugerował, że jest to związane z niektórymi koncepcjami …

10 time-series machine-learning forecasting

6

Porównaj R-kwadrat z dwóch różnych modeli Lasu Losowego

Używam pakietu randomForest w R do opracowania losowego modelu lasu w celu wyjaśnienia ciągłego wyniku w „szerokim” zestawie danych z większą liczbą predyktorów niż próbek. W szczególności dopasowuję jeden model RF, umożliwiając procedurze wybranie zestawu ~ 75 zmiennych predykcyjnych, które moim zdaniem są ważne. Testuję, jak dobrze ten model przewiduje …

10 r machine-learning hypothesis-testing model-selection random-forest

2

Uzasadnienie zastosowania AUC?

Zwłaszcza w informatycznej literaturze dotyczącej uczenia maszynowego AUC (obszar pod krzywą charakterystyczną operatora odbiornika) jest popularnym kryterium oceny klasyfikatorów. Jakie są uzasadnienia korzystania z AUC? Np. Czy istnieje konkretna funkcja straty, dla której optymalną decyzją jest klasyfikator o najlepszym AUC?

10 machine-learning roc

1

Znaczenie współczynników regresji (GAM), gdy prawdopodobieństwo modelu nie jest znacząco wyższe niż zero

Korzystam z regresji opartej na GAM, używając pakietu R gamlss i zakładając zerową zawyżoną dystrybucję danych beta. Mam tylko jedną zmienną objaśniającą w moim modelu, więc to zasadniczo: mymodel = gamlss(response ~ input, family=BEZI). Algorytm podaje mi współczynnik dla wpływu zmiennej objaśniającej na średnią ( ) i powiązaną wartość p …

10 nonlinear-regression gamlss machine-learning svm

Pytania otagowane jako machine-learning