Statystyki i duże zbiory danych

Załóżmy, że mamy funkcję , którą możemy obserwować tylko przez pewien hałas. Nie możemy obliczyć bezpośrednio, tylko gdzie to jakiś losowy szum. (W praktyce: obliczam przy użyciu metody Monte Carlo.)f(x)f(x)f(x)f(x)f(x)f(x)f(x)+ηf(x)+ηf(x) + \etaηη\etaf(x)f(x)f(x) Jakie metody są dostępne do znalezienia pierwiastków , tj. Obliczenia , aby ?fffxxxf(x)=0f(x)=0f(x) = 0 Szukam metod, które …

17 approximation 

Nie mam na myśli wartości bliskiej zeru (zaokrąglonej do zera przez niektóre oprogramowanie statystyczne), ale raczej dosłownie zero. Jeśli tak, to czy oznaczałoby to, że prawdopodobieństwo uzyskania uzyskanych danych przy założeniu prawdziwości hipotezy zerowej wynosi również zero? Jakie są (niektóre przykłady) testy statystyczne, które mogą zwrócić tego rodzaju wyniki? Edytowano …

17 hypothesis-testing  statistical-significance  p-value 

Uruchomiłem tę porządkową regresję logistyczną w R: mtcars_ordinal <- polr(as.factor(carb) ~ mpg, mtcars) Mam to podsumowanie modelu: summary(mtcars_ordinal) Re-fitting to get Hessian Call: polr(formula = as.factor(carb) ~ mpg, data = mtcars) Coefficients: Value Std. Error t value mpg -0.2335 0.06855 -3.406 Intercepts: Value Std. Error t value 1|2 -6.4706 1.6443 …

17 r  regression  logistic  interpretation  ordered-logit 

Jestem teraz studentem pierwszego kursu statystyki. Jestem zdezorientowany terminem „statystyki testowe”. Poniżej (widziałem to w niektórych podręcznikach), wydaje się być konkretną wartością obliczoną na podstawie konkretnej próbki. t = ¯ x - μ 0tttt = x¯¯¯- μ0s / n--√t=x¯-μ0s/n t=\frac{\overline{x} - \mu_0}{s / \sqrt{n}} Jednak w dalszej części (widziałem to …

17 hypothesis-testing  t-test  random-variable  definition 

Staram się znaleźć najlepszy model do przewidywania cen samochodów, korzystając z cen i funkcji dostępnych na stronach ogłoszeń samochodowych. Do tego wykorzystałem kilka modeli z biblioteki scikit-learn oraz modele sieci neuronowej z pybrain i neurolabu. Podejście, które do tej pory stosowałem, polega na przepuszczeniu stałej ilości danych przez niektóre modele …

17 machine-learning  neural-networks  random-forest  r-squared  elastic-net 

Próbuję wymyślić, jak obliczyć Indeks Rand algorytmu klastra, ale utknąłem w punkcie, w jaki sposób obliczyć prawdziwe i fałszywe negatywy. W tej chwili korzystam z przykładu z książki An Introduction to Information Retrieval (Manning, Raghavan & Schütze, 2009). Na stronie 359 mówią o tym, jak obliczyć indeks Rand. W tym …

17 clustering 

Mam dwa główne efekty, V1 i V2. Wpływ V1 i V2 na zmienne odpowiedzi jest negatywny. Jednak z jakiegoś powodu uzyskuję dodatni współczynnik dla terminu interakcji V1 * V2. Jak mogę to zinterpretować? czy taka sytuacja jest możliwa?

17 regression  interaction 

Kontekst To pytanie używa R, ale dotyczy ogólnych problemów statystycznych. Analizuję wpływ czynników umieralności (% umieralności z powodu chorób i pasożytnictwa) na tempo wzrostu populacji ćmy w czasie, gdy populacje larw pobierano z 12 miejsc raz w roku przez 8 lat. Dane dotyczące tempa wzrostu populacji pokazują wyraźny, ale nieregularny …

17 model-selection  autocorrelation  residuals  panel-data  spatio-temporal 

Mam dwa rozkłady, w których znane są tylko 5-liczbowe podsumowanie (minimum, 1 kwartyl, mediana, 3 kwartyl, maksimum) i wielkość próby. W odpowiedzi na pytanie tutaj nie wszystkie punkty danych są dostępne. Czy istnieje jakiś nieparametryczny test statystyczny, który pozwala mi sprawdzić, czy podstawowe rozkłady tych dwóch są różne? Dzięki!

17 distributions  nonparametric 

Nie rozumiem wyjaśnienia w Rpliku pomocy dla efektów () : Dla modelu liniowego dopasowanego przez lmlubaov , efektami są nieskorelowane wartości pojedynczego stopnia swobody uzyskane przez rzutowanie danych na kolejne ortogonalne podprzestrzenie generowane przez rozkład QR podczas procesu dopasowania. Czy ktoś może wyjaśnić, co to oznacza? Czy ortogonalne podprzestrzenie odnoszą …

17 r  regression 

Mam niezależną zmienną o nazwie „jakość”; ta zmienna ma 3 tryby odpowiedzi (zła jakość; średnia jakość; wysoka jakość). Chcę wprowadzić tę zmienną niezależną do mojej wielokrotnej regresji liniowej. Kiedy mam binarną zmienną niezależną (zmienną fikcyjną, mogę kodować 0/ 1), łatwo jest wprowadzić ją do modelu wielokrotnej regresji liniowej. Ale przy …

17 r  regression  categorical-data  multicollinearity  categorical-encoding 

Artykuł w Wikipedii na temat analizy głównych komponentów stwierdza, że Istnieją wydajne algorytmy do obliczania SVD bez konieczności formowania macierzy , więc obliczanie SVD jest obecnie standardowym sposobem obliczania analizy głównych składników z macierzy danych, chyba że wymagana jest tylko garść składników.XXXXTXXTXX^TX Czy ktoś mógłby mi powiedzieć, o jakich skutecznych …

17 pca  algorithms  svd  numerics 

Interesuje mnie, czy „korelacja” trzech zmiennych jest czymś, a jeśli tak, co by to było? Współczynnik korelacji momentu Pearsona E{(X−μX)(Y−μY)}Var(X)Var(Y)−−−−−−−−−−−−√E{(X−μX)(Y−μY)}Var(X)Var(Y)\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)\}}{\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}} Teraz pytanie dotyczące 3 zmiennych: Is E{(X−μX)(Y−μY)(Z−μZ)}Var(X)Var(Y)Var(Z)−−−−−−−−−−−−−−−−−−√E{(X−μX)(Y−μY)(Z−μZ)}Var(X)Var(Y)Var(Z)\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)(Z-\mu_Z)\}} {\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)\mathrm{Var}(Z)}} byle co? W R wydaje się to czymś możliwym do interpretacji: > a <- rnorm(100); b <- rnorm(100); c <- rnorm(100) > …

17 correlation  pearson-r 

Mam następujący histogram danych zliczania. I chciałbym dopasować do niego dyskretny rozkład. Nie jestem pewien, jak powinienem to zrobić. Czy powinienem najpierw nałożyć na histogram rozkład dyskretny, powiedzmy ujemny rozkład dwumianowy, aby uzyskać parametry rozkładu dyskretnego, a następnie uruchomić test Kołmogorowa – Smirnowa, aby sprawdzić wartości p? Nie jestem pewien, …

17 r  poisson-distribution  discrete-data  computational-statistics  negative-binomial 

Obecnie próbuję zrozumieć zasadę wiarygodności i, szczerze mówiąc, wcale jej nie rozumiem. Tak więc napiszę wszystkie moje pytania jako listę, nawet jeśli mogą to być dość podstawowe pytania. Co dokładnie oznacza wyrażenie „wszystkie informacje” w kontekście tej zasady? (ponieważ wszystkie informacje w próbie są zawarte w funkcji prawdopodobieństwa). Czy zasada …

17 bayesian  likelihood  likelihood-principle