Statystyki i duże zbiory danych

3

Czy istnieje wersja z wieloma próbkami lub alternatywa dla testu Kołmogorowa-Smirnowa?

Porównuję rozkład wielkości drzew na sześciu parach poletek, gdzie jedna poletka została poddana obróbce, a druga kontroli. Używając testu Kołmogorowa-Smirnowa na każdej parze wykresów, stwierdzam, że wynosi od 0,0003707 do 0,75 . Czy istnieją jakieś odpowiednie metody radzenia sobie ze wszystkimi powtórzeniami łącznie, takie jak rozszerzenie próby KS na wiele …

12 nonparametric kolmogorov-smirnov

6

Solidna (nieparametryczna) miara, taka jak współczynnik zmienności - IQR / mediana czy alternatywa?

Dla danego zestawu danych spread jest często obliczany albo jako odchylenie standardowe, albo jako IQR (zakres międzykwartylowy). Podczas gdy a standard deviationjest znormalizowane (wyniki Z itp.), A zatem może być użyte do porównania spreadu z dwóch różnych populacji, nie jest tak w przypadku IQR, ponieważ próbki z dwóch różnych populacji …

12 nonparametric mathematical-statistics standard-deviation descriptive-statistics normalization

2

Jaka jest odległość między skończoną mieszanką gaussowską a gaussowską?

Załóżmy, że mam mieszankę skończonej liczby Gaussów ze znanymi wagami, średnimi i standardowymi odchyleniami. Średnie nie są równe. Oczywiście można obliczyć średnią i odchylenie standardowe mieszaniny, ponieważ momenty są ważonymi średnimi momentów składników. Mieszanina nie ma rozkładu normalnego, ale jak daleko jest od normalności? Powyższy obraz pokazuje gęstości prawdopodobieństwa dla …

12 normal-distribution mixture distance

3

STL w szeregach czasowych z brakującymi wartościami do wykrywania anomalii

Próbuję wykryć anomalne wartości w szeregu czasowym danych klimatycznych z pewnymi brakującymi obserwacjami. Przeszukując sieć znalazłem wiele dostępnych podejść. Spośród nich rozkład stl wydaje się atrakcyjny w sensie usunięcia trendów i składników sezonowych i przestudiowania reszty. Czytając STL: sezonowy-Trend rozkładu procedury opartej na Lessów , stlwydaje się być elastyczni w …

12 r time-series outliers missing-data

4

Czy przewidywane prawdopodobieństwo regresji logistycznej można interpretować jako zaufanie do klasyfikacji

Czy możemy interpretować późniejsze prawdopodobieństwo uzyskane z klasyfikatora, który generuje przewidywaną wartość klasy i prawdopodobieństwo (na przykład regresję logistyczną lub Naive Bayesa) jako pewnego rodzaju wynik ufności przypisany do tej przewidywanej wartości klasy?

12 probability logistic naive-bayes

2

Jak oszacować trzeci kwartyl binowanych danych?

Czy istnieje jakaś sztuczka techniczna, aby określić trzeci kwartyl, jeśli należy on do otwartego przedziału, który zawiera więcej niż jedną czwartą populacji (więc nie mogę zamknąć przedziału i użyć standardowej formuły)? Edytować W przypadku, gdy coś źle zrozumiem, podam mniej więcej pełny kontekst. Mam dane ułożone w tabeli z dwiema …

12 distributions histogram descriptive-statistics

3

Baza matematyki dla algorytmów eksploracji danych i sztucznej inteligencji

Czy możesz mi wyjaśnić algorytmy eksploracji danych i sztucznej inteligencji? Do jakiej bazy matematycznej używali? Czy mógłbyś mi dać punkt wyjścia, w matematyce, do zrozumienia tego rodzaju algorytmów?

12 mathematical-statistics references data-mining algorithms artificial-intelligence

1

Dlaczego rozkład własny i svd macierzy kowariancji opartej na rzadkich danych daje różne wyniki?

Próbuję dekomponować macierz kowariancji w oparciu o rzadki / gappy zestaw danych. Zauważam, że suma lambda (wyjaśniona wariancja), obliczona za pomocą svd, jest powiększana o coraz bardziej nieokreślone dane. Bez luk svdi eigenuzyskaj te same wyniki. Wydaje się, że tak się nie dzieje z eigenrozkładem. Skłoniłem się do używania, svdponieważ …

12 r svd eigenvalues

4

Wybór modelu PCA za pomocą AIC (lub BIC)

Chcę użyć Akaike Information Criterion (AIC), aby wybrać odpowiednią liczbę czynników do wyodrębnienia w PCA. Jedynym problemem jest to, że nie jestem pewien, jak określić liczbę parametrów. Rozważmy macierz X , gdzie N reprezentuje liczbę zmiennych, a T liczbę obserwacji, na przykład X \ sim \ mathcal N \ left …

12 pca model-selection

1

hierarchiczne modele bayesowskie a empiryczne bayesowskie

Czy uważasz, że HBM vs EB to dwie alternatywy, w których hiperparametry są „w grze” próbkowania / szacowania / itp.? Istnieje wyraźny związek między tymi dwoma. Czy uważasz, że HBM jest bardziej „w pełni bayesowski” niż EB? Czy jest miejsce, w którym mogę zobaczyć, jakie są różnice między byciem „w …

12 bayesian empirical-bayes

1

Regresja liniowa z powtarzanymi pomiarami w R

Nie byłem w stanie wymyślić, jak przeprowadzić regresję liniową w R dla projektu z powtarzanymi pomiarami. W poprzednim pytaniu (wciąż bez odpowiedzi) zasugerowano mi, aby nie używać, lmale raczej używać modeli mieszanych. Użyłem lmw następujący sposób: lm.velocity_vs_Velocity_response <- lm(Velocity_response~Velocity*Subject, data=mydata) (więcej szczegółów na temat zestawu danych można znaleźć pod linkiem …

12 r regression mixed-model repeated-measures

2

randomForest wybiera regresję zamiast klasyfikacji

Korzystam z pakietu randomForest w R i korzystam z danych tęczówki, generowany losowy las jest klasyfikacją, ale kiedy używam zestawu danych z około 700 funkcjami (każdy z nich to piksel na obrazie 28 x 28 pikseli) i kolumna etykiety jest nazywana label, randomForestgenerowana jest regresja. Korzystam z następującego wiersza: rf …

12 r random-forest

2

Dodatnia korelacja i ujemny znak współczynnika regresji

Czy można uzyskać dodatnią korelację między regresorem a odpowiedzią ( +0,43), a następnie uzyskać ujemny współczynnik w dopasowanym modelu regresji dla tego regresora? Nie mówię o zmianach w znaku regresora wśród niektórych modeli. Znak współczynnika zawsze pozostaje. Czy pozostałe zmienne dopasowanego modelu mogą wpływać na zmianę znaku?

12 correlation multiple-regression regression-coefficients

1

Dlaczego warto korzystać z rejestrowanych zmiennych?

Prawdopodobnie jest to bardzo podstawowe pytanie, ale wydaje mi się, że nie jestem w stanie znaleźć na to solidnej odpowiedzi. Mam nadzieję, że mogę. Obecnie czytam artykuły jako przygotowanie do pracy magisterskiej. Obecnie czytam artykuł, który bada związek między tweetami a funkcjami giełdy. W jednej ze swoich hipotez sugerują, że …

12 correlation data-transformation logarithm

1

Zależność między liczbą wektorów pomocniczych a liczbą funkcji

Uruchomiłem maszynę SVM dla danego zestawu danych i poczyniłem następującą obserwację: Jeśli zmienię liczbę funkcji budowania klasyfikatora, liczba wynikowych wektorów pomocniczych również zostanie zmieniona. Chciałbym wiedzieć, jak wyjaśnić tego rodzaju scenariusz.

12 machine-learning classification svm kernel-trick