Statystyki i duże zbiory danych data-mining

5

K-średnich jest szeroko stosowaną metodą analizy skupień. W moim rozumieniu ta metoda NIE wymaga ŻADNYCH założeń, tj. Podaj mi zbiór danych i wcześniej określoną liczbę klastrów, k, i po prostu stosuję ten algorytm, który minimalizuje sumę błędów kwadratu (SSE), wewnątrz klastra do kwadratu błąd. Zatem k-średnich jest zasadniczo problemem optymalizacyjnym. …

365 machine-learning clustering data-mining k-means

12

Jaka jest różnica między eksploracją danych, statystykami, uczeniem maszynowym i sztuczną inteligencją?

Jaka jest różnica między eksploracją danych, statystykami, uczeniem maszynowym i sztuczną inteligencją? Czy słusznie byłoby powiedzieć, że są to 4 pola próbujące rozwiązać bardzo podobne problemy, ale o różnych podejściach? Co dokładnie mają ze sobą wspólnego i czym się różnią? Jeśli istnieje między nimi jakaś hierarchia, co by to było? …

208 machine-learning data-mining

4

Kappa Cohena w prostym angielskim

Czytam książkę do eksploracji danych, w której wspomniano o statystyce Kappa jako sposobie oceny wydajności prognozowania klasyfikatorów. Jednak po prostu nie mogę tego zrozumieć. Sprawdziłem także Wikipedię, ale to też nie pomogło: https://en.wikipedia.org/wiki/Cohen's_kappa . W jaki sposób kappa Cohena pomaga w ocenie wydajności prognozowania klasyfikatorów? Co to mówi? Rozumiem, że …

131 classification data-mining cohens-kappa

9

Pozyskiwanie wiedzy z przypadkowego lasu

Losowe lasy są uważane za czarne skrzynki, ale ostatnio zastanawiałem się, jaką wiedzę można uzyskać z losowego lasu? Najbardziej oczywistą rzeczą jest znaczenie zmiennych, w najprostszym wariancie można to zrobić po prostu przez obliczenie liczby wystąpień zmiennej. Drugą rzeczą, o której myślałem, były interakcje. Myślę, że jeśli liczba drzew jest …

127 machine-learning data-mining interaction random-forest cart

11

Praca w eksploracji danych bez doktoratu

Od dłuższego czasu interesuję się eksploracją danych i uczeniem maszynowym , częściowo dlatego, że specjalizowałem się w tej dziedzinie w szkole, ale także dlatego, że jestem o wiele bardziej podekscytowany próbą rozwiązania problemów, które wymagają więcej przemyślenia niż tylko programowania wiedza i którego rozwiązanie może mieć wiele postaci. Nie mam …

73 machine-learning data-mining careers phd

7

Odległość euklidesowa zwykle nie jest dobra dla rzadkich danych?

Widziałem gdzieś, że klasyczne odległości (takie jak odległość euklidesowa) stają się słabo dyskryminujące, gdy mamy wielowymiarowe i rzadkie dane. Dlaczego? Czy masz przykład dwóch rzadkich wektorów danych, w których odległość euklidesowa nie działa dobrze? W takim przypadku, jakiego podobieństwa powinniśmy użyć?

72 machine-learning clustering data-mining sparse euclidean

8

Umiejętności trudne do znalezienia u uczących się maszyn?

Wydaje się, że eksploracja danych i uczenie maszynowe stały się tak popularne, że teraz prawie każdy student CS wie o klasyfikatorach, klastrowaniu, statystycznym NLP ... itd. Wygląda więc na to, że znalezienie eksploratorów danych nie jest obecnie trudną sprawą. Moje pytanie brzmi: jakie umiejętności mógłby nauczyć się eksplorator danych, co …

71 machine-learning data-mining

8

Wygeneruj zmienną losową ze zdefiniowaną korelacją z istniejącą zmienną (zmiennymi)

Dla badań symulacyjnych mam do generowania zmiennych losowych, które wykazują prefined (populacji) korelację do istniejącej zmiennej .YYY I spojrzał w Ropakowaniach copula, a CDVinektóre mogą powodować przypadkowe wielowymiarowych rozkładów danej struktury zależności. Nie można jednak naprawić jednej z powstałych zmiennych do istniejącej zmiennej. Wszelkie pomysły i linki do istniejących funkcji …

71 r correlation random-variable random-generation independence assumptions random-variable unbiased-estimator regression hypothesis-testing heteroscedasticity generalized-least-squares distributions networks data-visualization sas reproducible-research philosophical time-series variance outliers quality-control mean multilevel-analysis average weighted-mean regression confidence-interval prediction-interval correlation matlab matrix data-mining maximum-likelihood r time-series survival predictive-models

2

Dlaczego tylko trzy partycje? (szkolenie, walidacja, test)

Gdy próbujesz dopasować modele do dużego zestawu danych, powszechną wskazówką jest podzielenie danych na trzy części: szkolenie, sprawdzanie poprawności i testowanie zestawu danych. Wynika to z faktu, że modele zwykle mają trzy „poziomy” parametrów: pierwszy „parametr” to klasa modelu (np. SVM, sieć neuronowa, losowy las), drugi zestaw parametrów to parametry …

61 machine-learning model-selection data-mining

12

Oprogramowanie potrzebne do zeskrobywania danych z wykresu [zamknięte]

Czy ktoś ma jakieś doświadczenie z oprogramowaniem (najlepiej darmowym, najlepiej open source), które zrobi zdjęcie danych wykreślonych na współrzędnych kartezjańskich (standardowy, codzienny wykres) i wyodrębni współrzędne punktów wykreślonych na wykresie? Zasadniczo jest to problem eksploracji danych i problem odwrotnej wizualizacji danych.

56 data-visualization data-mining software

8

Czy pobieranie próbek ma znaczenie w czasach „dużych zbiorów danych”?

Lub bardziej „czy to będzie”? Big Data sprawia, że statystyki i odpowiednia wiedza stają się tym ważniejsze, ale wydaje się, że nie uwzględniają teorii próbkowania. Widziałem ten szum wokół „Big Data” i nie mogę się dziwić, że „dlaczego” chciałbym wszystko analizować ? Czy nie było powodu, aby „teorię próbkowania” zaprojektować …

54 sampling data-mining large-data

3

Czy mamy problem z „litością przychylną”?

Wiem, może to zabrzmieć nie na temat, ale wysłuchaj mnie. W Stack Overflow i tutaj otrzymujemy głosy na posty, wszystko to jest przechowywane w formie tabelarycznej. Na przykład: post id identyfikator wyborcy typ głosowania datetime ------- -------- --------- -------- 10 1 2 2000-1-1 10:00:01 11 3 3 2000-1-1 10:00:01 10 …

51 time-series hypothesis-testing data-mining markov-process censoring

3

Grupowanie za pomocą K-Means i EM: w jaki sposób są one powiązane?

Studiowałem algorytmy dla grupowania danych (uczenie bez nadzoru): EM i k-średnich. Cały czas czytam: k-średnich jest wariantem EM, przy założeniu, że klastry są kuliste. Czy ktoś może wyjaśnić powyższe zdanie? Nie rozumiem, co oznaczają sfery i jak kmeany i EM są powiązane, ponieważ jeden wykonuje przyporządkowanie probabilistyczne, a drugi w …

50 machine-learning clustering data-mining k-means expectation-maximization

1

Wskaźniki wydajności do oceny uczenia się bez nadzoru

Czy w odniesieniu do uczenia się bez nadzoru (takiego jak klastrowanie) istnieją jakieś wskaźniki pozwalające ocenić wydajność?

49 machine-learning clustering data-mining unsupervised-learning

3

Jakie są różnice między ukrytymi modelami Markowa a sieciami neuronowymi?

Po prostu moczyłem stopy w statystykach, więc przepraszam, jeśli to pytanie nie ma sensu. Użyłem modeli Markowa do przewidywania stanów ukrytych (nieuczciwe kasyna, rzuty kostką itp.) Oraz sieci neuronowych do badania kliknięć użytkowników w wyszukiwarce. Oba miały ukryte stany, które próbowaliśmy rozgryźć na podstawie obserwacji. O ile mi wiadomo, oba …

40 data-mining algorithms neural-networks markov-process

Pytania otagowane jako data-mining