Statystyki i duże zbiory danych

3

Opracowałem system sprawdzania koncepcji rozpoznawania dźwięku za pomocą modeli mfcc i ukrytych marek. Daje obiecujące wyniki, gdy testuję system na znanych dźwiękach. Chociaż system, gdy wprowadzany jest nieznany dźwięk, zwraca wynik z najbliższym dopasowaniem, a wynik nie jest tak wyraźny, aby go wymyślić, jest to dźwięk nieznany, np .: Wytrenowałem …

14 machine-learning hidden-markov-model pattern-recognition

4

Czy można dołączyć dane szkoleniowe do istniejących modeli SVM?

Używam libsvm i zauważyłem, że za każdym razem, gdy wywołuję svmtrain (), tworzę nowy model i wydaje się, że nie ma opcji umieszczenia danych w istniejącym modelu. Czy to jednak możliwe? Czy po prostu nie widzę tego aspektu w libsvm?

14 svm libsvm

2

Czy odrzucasz hipotezę zerową, gdy

Jest to oczywiście kwestia definicji lub konwencji i praktycznie nie ma praktycznego znaczenia. Jeśli jest ustawiona na tradycyjną wartość 0,05, to czy wartość 0,0500000000000 ... jest uważana za statystycznie znaczącą, czy nie? Czy reguła definiująca istotność statystyczną jest zwykle uważana za lub ??p p < α p ≤ ααα\alphapppp<αp<αp < …

14 hypothesis-testing statistical-significance definition

1

Podział wariancji i zmiany wzdłużne w korelacji z danymi binarnymi

Analizuję dane dotyczące 300 000 uczniów w 175 szkołach za pomocą logistycznego liniowego modelu efektów mieszanych (przechwytywanie losowe). Każdy uczeń występuje dokładnie raz, a dane obejmują 6 lat. Jak podzielić wariancję między poziom szkoły i ucznia, w sposób podobny do VPC / ICC, aby uzyskać ciągłe wyniki? Widziałem ten artykuł, …

14 mixed-model binary-data

1

Jakie są różne rodzaje kodowania dostępne dla zmiennych kategorialnych (w R) i kiedy ich użyjesz?

Jeśli dopasujesz model liniowy lub mieszany, dostępne są różne typy kodowania, aby przekształcić zmienną kategorialną lub nominalną w szereg zmiennych, dla których szacowane są parametry, takie jak atrapa warunkowa (domyślnie R) i kodowanie efektów. Słyszałem, że kodowanie efektów (czasami nazywane kodowaniem dewiacyjnym lub kontrastowym) jest preferowane, gdy masz interakcje, ale …

14 regression mixed-model categorical-data contrasts categorical-encoding

3

Modele tematyczne dla krótkich dokumentów

Zainspirowany tym pytaniem zastanawiam się, czy nie wykonano żadnej pracy nad modelami tematycznymi dla dużych kolekcji niezwykle krótkich tekstów. Moją intuicją jest to, że Twitter powinien być naturalną inspiracją dla takich modeli. Jednak z niektórych ograniczonych eksperymentów wygląda na to, że standardowe modele tematyczne (LDA itp.) Działają dość słabo na …

14 references text-mining topic-models natural-language

2

Czy mogę używać algorytmów glm do wielomianowej regresji logistycznej?

Używam Spotfire (S ++) do analizy statystycznej w moim projekcie i muszę uruchomić wielomianową regresję logistyczną dla dużego zestawu danych. Wiem, że najlepszym algorytmem byłby mlogit, ale niestety nie jest on dostępny w s ++. Mam jednak opcję użycia algorytmu glm dla tej regresji. Chcę tu wyjaśnić dwie rzeczy: 1. …

14 generalized-linear-model logistic

5

Interpretowanie rozbieżności między R i SPSS z eksploracyjną analizą czynnikową

Jestem absolwentem informatyki. Przeprowadziłem eksploracyjną analizę czynników dla projektu badawczego. Moi koledzy (którzy prowadzą projekt) używają SPSS, podczas gdy ja wolę używać R. To nie miało znaczenia, dopóki nie odkryliśmy dużej rozbieżności między dwoma pakietami statystycznymi. Używamy faktoringu osi głównej jako metody ekstrakcji (pamiętaj, że jestem świadomy różnicy między PCA …

14 r spss factor-analysis

3

Dynamiczne systemy rekomendujące

Recommender system będzie mierzyć korelację między ocenie różnych użytkowników i zaleceń dochodowości dla danego użytkownika na temat elementów, które mogą być interesujące dla niego. Jednak gusta zmieniają się z czasem, więc stare oceny mogą nie odzwierciedlać obecnych preferencji i odwrotnie. Być może kiedyś umieściłeś „doskonałą” w książce, którą teraz oceniasz …

14 recommender-system

2

Radzenie sobie ze zbiorami danych o zmiennej liczbie funkcji

Jakie są metody klasyfikacji danych o zmiennej liczbie funkcji? Jako przykład rozważmy problem, w którym każdy punkt danych jest wektorem punktów xiy, a my nie mamy takiej samej liczby punktów dla każdej instancji. Czy możemy traktować każdą parę punktów xiy jako cechę? A może powinniśmy w jakiś sposób podsumować punkty, …

14 machine-learning missing-data

2

Pytanie o regresję logistyczną

Chcę uruchomić binarną regresję logistyczną, aby modelować obecność lub brak konfliktu (zmienna zależna) z zestawu zmiennych niezależnych w okresie 10 lat (1997-2006), przy czym każdego roku ma 107 obserwacji. Moi niezależni to: degradacja gruntów (kategoryczna dla 2 rodzajów degradacji); wzrost populacji (0 - nie; 1 - tak); typ źródła utrzymania …

14 regression time-series logistic spatial ecology

3

Co można powiedzieć dziecku szkolnemu o statystykach i uczeniu maszynowym?

W przyszłym tygodniu mamy w domu stażystę z lokalnej szkoły. Koncepcja jego krótkiego stażu polega na tym, aby dowiedzieć się, jak działa rzeczywisty świat i jak radzą sobie z niektórymi miejscami pracy, jak wygląda codzienna praca itp. Teraz zastanawiałem się, co można powiedzieć / pokazać / zademonstrować tak małemu dziecku …

14 machine-learning teaching

1

Dlaczego powinniśmy omawiać zachowania konwergencji różnych estymatorów w różnych topologiach?

W pierwszym rozdziale książki Geometria algebraiczna i statystyczna teoria uczenia się, która mówi o zbieżności oszacowań w różnych przestrzeniach funkcjonalnych, wspomina, że oszacowanie Bayesa odpowiada topologii rozkładu Schwartza, podczas gdy oszacowanie maksymalnego prawdopodobieństwa odpowiada topologii ponadnormatywnej (na stronie 7): Na przykład, sup normą, LpLpL^p -norm słaby Topologia Hilberta , topologia …

14 bayesian maximum-likelihood statistical-learning

2

Kodowanie funkcji jakościowych do liczb w celu uczenia maszynowego

Wiele algorytmów uczenia maszynowego, na przykład sieci neuronowe, oczekuje obsługi liczb. Tak więc, jeśli masz dane kategoryczne, musisz je przekonwertować. Przez kategoryczne rozumiem na przykład: Marki samochodów: Audi, BMW, Chevrolet ... ID użytkownika: 1, 25, 26, 28 ... Mimo że identyfikatory użytkowników są liczbami, są tylko etykietami i nie oznaczają …

14 machine-learning many-categories

1

Ograniczona funkcja generowania momentu

To pytanie wynika z zadanego tutaj pytania na temat funkcji generowania momentu związanego (MGF). Załóżmy, że XXX jest ograniczoną losową zmienną o zerowej średniej przyjmującą wartości w i niech będzie jej MGF. Z granicy użytej w dowodzie nierówności Hoeffdinga mamy gdzie prawa strona jest rozpoznawalna jako MGF zerowej średniej normalnej …

14 probability probability-inequalities mgf