Statystyki i duże zbiory danych

Mam dwie zmienne - X i Y i muszę ustawić klaster maksymalnie (i optymalnie) = 5. Załóżmy, że idealny wykres zmiennych wygląda następująco: Chciałbym zrobić z tego 5 klastrów. Coś takiego: Dlatego myślę, że jest to model mieszany z 5 klastrami. Każda grupa ma punkt środkowy i okrąg zaufania wokół …

15 r  clustering  gaussian-mixture 

Mam dwa zestawy danych i chciałbym wiedzieć, czy są one znacząco różne, czy nie (pochodzi od „ Dwie grupy są znacząco różne? Test do użycia ”). Zdecydowałem się użyć testu permutacji, wykonując następujące czynności w języku R: permutation.test <- function(coding, lncrna) { coding <- coding[,1] # dataset1 lncrna <- lncrna[,1] …

15 p-value  permutation-test 

\newcommand{\E}{\mathbb{E}} Jaka jest transformacja normalizująca dla rodziny wykładniczej pochodny? A(⋅)=∫duV1/3(μ)A(⋅)=∫duV1/3(μ)A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)} Mówiąc dokładniej : Próbowałem postępować zgodnie ze szkicem rozszerzenia Taylora na stronie 3, slajd 1 tutaj, ale mam kilka pytań. Gdy z rodziny wykładniczej, transformacja h (X) i \ kappa _i oznaczają i ^ {th} kumulant, slajdy twierdzą, …

15 data-transformation  residuals  asymptotics  exponential-family 

Próbuję zobaczyć, czy wybrać regresję grzbietu , LASSO , regresję głównego składnika (PCR), czy częściowe najmniejsze kwadraty (PLS) w sytuacji, gdy istnieje duża liczba zmiennych / cech ( ppp ) i mniejsza liczba próbek ( n<pn<pn np>10np>10np>10n Zmienne ( i Y ) są skorelowane ze sobą w różnym stopniu.XXXYYY Moje …

15 regression  pca  lasso  ridge-regression  partial-least-squares 

Oryginalne pytanie (7/25/14): Czy ten cytat z mediów informacyjnych ma sens, czy jest lepszy statystyczny sposób patrzenia na tempo ostatnich wypadków lotniczych? Jednak Barnett zwraca również uwagę na teorię rozkładu Poissona, co oznacza, że ​​krótkie przerwy między wypadkami są w rzeczywistości bardziej prawdopodobne niż długie. „Załóżmy, że zdarza się średnio …

15 probability  poisson-distribution 

Czy sensowne i możliwe jest wykonanie jednostronnego testu KS? Jaka byłaby hipoteza zerowa takiego testu? Czy test KS jest z natury testem dwustronnym? Korzystałbym z odpowiedzi, która pomogła mi zrozumieć rozkład D (pracuję nad dokumentem Massey'a z 1951 roku i uważam, że opis jest trudny, na przykład i supremum i …

15 hypothesis-testing  goodness-of-fit  kolmogorov-smirnov 

Mam problem z normalnością niektórych danych, które mam: Zrobiłem test Kołmogorowa, który mówi, że nie jest normalne z p = 0,0000, nie rozumiem: skośność mojej dystrybucji = -. 497, i kurtoza = -0,024 Oto fabuła mojej dystrybucji, która wygląda bardzo normalnie ... (Mam trzy wyniki i każdy z nich nie …

15 normal-distribution  spss  kolmogorov-smirnov  histogram  qq-plot 

Próbuję wykonać regresję danych heteroscedastycznych, w których próbuję przewidzieć wariancje błędów, a także wartości średnie w odniesieniu do modelu liniowego. Coś takiego: y(x,t)ξ(x,t)y¯(x,t)σ(x,t)=y¯(x,t)+ξ(x,t),∼N(0,σ(x,t)),=y0+ax+bt,=σ0+cx+dt.y(x,t)=y¯(x,t)+ξ(x,t),ξ(x,t)∼N(0,σ(x,t)),y¯(x,t)=y0+ax+bt,σ(x,t)=σ0+cx+dt.\begin{align}\\ y\left(x,t\right) &= \bar{y}\left(x,t\right)+\xi\left(x,t\right),\\ \xi\left(x,t\right) &\sim N\left(0,\sigma\left(x,t\right)\right),\\ \bar{y}\left(x,t\right) &= y_{0}+ax+bt,\\ \sigma\left(x,t\right) &= \sigma_{0}+cx+dt. \end{align} Słowami, dane składa się z powtarzalnych pomiarów przy różnych wartościach i . Sądzę pomiary …

15 regression  spss  variance  residuals  heteroscedasticity 

Czy istnieje tezaurus referencyjny dotyczący statystyk i terminów uczenia maszynowego? Wiem, że artykuły w Wikipedii często zawierają synonimy, ale chciałbym mieć jedynie tezaurus, przez który mógłbym łatwo przejść (w porównaniu z pełną encyklopedią), aby upewnić się, że znam cały żargon.

15 machine-learning  terminology 

Mam zestaw danych z kilkoma milionami wierszy i ~ 100 kolumnami. Chciałbym wykryć około 1% przykładów w zestawie danych, które należą do wspólnej klasy. Mam ograniczenie minimalnej precyzji, ale z powodu bardzo asymetrycznego kosztu nie jestem zbytnio zainteresowany żadnym konkretnym wycofaniem (o ile nie mam 10 pozytywnych wyników!) Jakie są …

15 machine-learning  classification  unbalanced-classes  precision-recall 

Jeśli mam system oceny gwiazdek, w którym użytkownicy mogą wyrazić swoje preferencje dotyczące produktu lub przedmiotu, w jaki sposób mogę wykryć statystycznie, czy głosy są wysoce „podzielone”. Oznacza to, że nawet jeśli średnia wynosi 3 z 5 dla danego produktu, jak mogę wykryć, czy jest to podział 1-5 względem konsensusu …

15 variance  average  dispersion 

Słyszałem, że regresję grzbietu można wyprowadzić jako średnią rozkładu z tyłu, jeśli uprzednio zostanie odpowiednio wybrany. Czy intuicja, że ​​ograniczenia określone przez współczynniki regresji przez wcześniejsze (np. Standardowe rozkłady normalne około 0) są identyczne / zastępuje karę ustawioną na kwadrat wielkości współczynników? Czy przeor musi mieć charakter gaussowski, aby zachować …

15 bayesian  prior  ridge-regression 

Pracuję nad miarą ważności funkcji Gini dla losowego lasu. Dlatego muszę obliczyć spadek zanieczyszczenia węzła Gini. Oto sposób, w jaki to robię, co prowadzi do konfliktu z definicją, co sugeruje, że gdzieś się mylę ... :) W przypadku drzewa binarnego i biorąc pod uwagę prawdopodobieństwa lewych i prawych dzieci, mogę …

15 feature-selection  random-forest  cart 

Chcę spróbować użyć maszyn wektorów wsparcia (SVM) w moim zestawie danych. Zanim jednak spróbowałem rozwiązać problem, zostałem ostrzeżony, że maszyny SVM nie radzą sobie dobrze z bardzo niezrównoważonymi danymi. W moim przypadku mogę mieć aż 95-98% zera i 2-5% 1. Próbowałem znaleźć zasoby, które mówiły o używaniu SVM na rzadkich …

15 svm  libsvm  unbalanced-classes 

W szczególności zastanawiam się, dlaczego mamy tę koncepcję wielokrotności R (którą rozumiem jako korelację między obserwowanymi i przewidywanymi wynikami w regresji wielokrotnej), a następnie osobną koncepcję kwadratu R, który jest po prostu kwadratem lub R. Zostałem poinformowany, że R-kwadrat to wyjaśniona zmienność procentowa, a R nie, ale nie rozumiem rozróżnienia …

15 multiple-regression