Statystyki i duże zbiory danych

Pracowałem nad modelem logistycznym i mam trudności z oceną wyników. Mój model to dwumianowy logit. Moje zmienne objaśniające to: zmienna kategorialna z 15 poziomami, zmienna dychotomiczna i 2 zmienne ciągłe. Mój N jest duży> 8000. Staram się modelować decyzję firm o inwestowaniu. Zmienna zależna to inwestycja (tak / nie), 15 …

13 r  logistic  goodness-of-fit  roc 

Pracuję nad czymś w rodzaju następującego problemu. Mam grupę użytkowników i N książek. Każdy użytkownik tworzy uporządkowany ranking wszystkich książek, które przeczytał (co jest prawdopodobnie podzbiorem N książek), np. Książka 1> Książka 40> Książka 25. Teraz chcę przekształcić te indywidualne rankingi użytkowników w jeden uporządkowany ranking wszystkich książek. Czy są …

13 multiple-comparisons  ranking  recommender-system  bradley-terry-model 

Często diagnozowałem moje dane wielowymiarowe za pomocą PCA (dane omiczne z setkami tysięcy zmiennych i dziesiątkami lub setkami próbek). Dane często pochodzą z eksperymentów z kilkoma kategorycznymi zmiennymi niezależnymi definiującymi niektóre grupy, i często muszę przejść przez kilka składników, zanim znajdę te, które wykazują rozdział między grupami zainteresowań. Wymyśliłem dość …

13 pca  linear-model  r-squared  discriminant-analysis 

Najwyraźniej jest tak, że jeśli , toXja∼ N.( 0 , 1 )Xi∼N(0,1)X_i \sim N(0,1) X1X2)+ X3)X4∼ L a p l a c e ( 0 , 1 )X1X2+X3X4∼Laplace(0,1)X_1 X_2 + X_3 X_4 \sim \mathrm{Laplace(0,1)} Widziałem artykuły na temat dowolnych kwadratowych form, które zawsze skutkują okropnymi niecentralnymi wyrażeniami chi-kwadrat. Powyższa prosta …

13 normal-distribution  proof  quadratic-form  laplace-distribution 

Właśnie rozpoczął budowę modeli Stan ; aby zbudować znajomość narzędzia, pracuję nad niektórymi ćwiczeniami z analizy danych bayesowskich (wydanie 2). W Waterbuck wykonywania zakłada, że dane , z nieznany. Ponieważ Hamiltonian Monte Carlo nie zezwala na parametry dyskretne, zadeklarowałem jako rzeczywistą i zakodowałem rozkład dwumianowy o wartości rzeczywistej za pomocą …

13 bayesian  mcmc  discrete-data  stan 

Próbowałem nauczyć się i stosować modele ARIMA. Czytałem doskonały tekst na temat ARIMA autorstwa Pankratza - Prognozowanie przy użyciu Univariate Box - Jenkins Models: Concepts and Cases . W tekście autor podkreśla przede wszystkim oszczędność w wyborze modeli ARIMA. Zacząłem grać z auto.arima()funkcji w R pakietu prognozy . Oto, co …

13 time-series  forecasting  arima  aic  automatic-algorithms 

Przeprowadziłem glm.nb przez glm1<-glm.nb(x~factor(group)) gdzie grupa jest kategorialna, a x jest zmienną metryczną. Kiedy próbuję uzyskać podsumowanie wyników, otrzymuję nieco inne wyniki, w zależności od tego, czy używam summary()lub summary.glm. summary(glm1)daje mi ... Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 0.1044 0.1519 0.687 0.4921 factor(gruppe)2 0.1580 0.2117 0.746 0.4555 …

13 r  generalized-linear-model  negative-binomial 

Muszę wyprowadzić wyrażenia analityczne dla funkcji autokowariancji procesu ARMA (2,1) oznaczonej przez:γ(k)γ(k)\gamma\left(k\right) yt=ϕ1yt−1+ϕ2yt−2+θ1ϵt−1+ϵtyt=ϕ1yt−1+ϕ2yt−2+θ1ϵt−1+ϵty_t=\phi_1y_{t-1}+\phi_2y_{t-2}+\theta_1\epsilon_{t-1}+\epsilon_t Więc wiem, że: γ(k)=E[yt,yt−k]γ(k)=E[yt,yt−k]\gamma\left(k\right) = \mathrm{E}\left[y_t,y_{t-k}\right] więc mogę napisać: γ(k)=ϕ1E[yt−1yt−k]+ϕ2E[yt−2yt−k]+θ1E[ϵt−1yt−k]+E[ϵtyt−k]γ(k)=ϕ1E[yt−1yt−k]+ϕ2E[yt−2yt−k]+θ1E[ϵt−1yt−k]+E[ϵtyt−k]\gamma\left(k\right) = \phi_1 \mathrm{E}\left[y_{t-1}y_{t-k}\right]+\phi_2 \mathrm{E}\left[y_{t-2}y_{t-k}\right]+\theta_1 \mathrm{E}\left[\epsilon_{t-1}y_{t-k}\right]+\mathrm{E}\left[\epsilon_{t}y_{t-k}\right] następnie, aby uzyskać analityczną wersję funkcji autokowariancji, muszę zastąpić wartości - 0, 1, 2 ... dopóki nie otrzymam rekurencji, która jest ważna …

13 time-series  covariance  autocorrelation  arma 

Czy możesz podać powód zastosowania testu jednostronnego w teście analizy wariancji? Dlaczego stosujemy test jednostronny - test F - w ANOVA?

13 anova  f-test  sums-of-squares  f-distribution 

W regresji liniowej , dlaczego nazywa się macierzą projektową? Czy można zaprojektować lub skonstruować dowolnie, tak jak w sztuce?Y=XβY=XβY= X\betaXXXXXX

13 regression  terminology 

Czy termin „wnioskowanie statystyczne” obejmuje tylko testowanie hipotez, czy obejmuje również oszacowanie punktowe, oszacowanie przedziału itp. Referencje będą mile widziane.

13 inference  terminology 

1. Problem Mam pomiarów zmiennej , gdzie t = 1 , 2 , . . , N , na które mają rozkład f a t ( R t ) uzyskanej poprzez MCMC, który dla uproszczenia będzie zakładać, że jest to Gaussa o średniej μ T a zmienność σ 2 t …

13 time-series  mcmc  autoregressive  likelihood 

Nie mam żadnego tła z matematyki, ale rozumiem, jak działa prosty Perceptron i myślę, że rozumiem pojęcie hiperpłaszczyzny (wyobrażam sobie to geometrycznie jako płaszczyznę w przestrzeni 3D, która oddziela dwie chmury punktów, tak jak linia dzieli się dwie chmury punktów w przestrzeni 2D). Ale nie rozumiem, w jaki sposób jedna …

13 machine-learning  classification  linear-model  multi-class 

Powiedzmy, że masz zestaw wartości i chcesz wiedzieć, czy bardziej prawdopodobne jest, że próbkowano z rozkładu Gaussa (normalnego) lub próbkowano z rozkładu logarytmicznego? Oczywiście idealnie byłoby wiedzieć coś o populacji lub o źródłach błędów eksperymentalnych, więc mielibyśmy dodatkowe informacje przydatne w odpowiedzi na pytanie. Ale tutaj załóżmy, że mamy tylko …

13 normal-distribution  lognormal 

Kiedy przeprowadzam walidację krzyżową k-fold, rozumiem, że uzyskujesz miary dokładności, wskazując wszystkie fałdy z wyjątkiem jednego w tym folderze i przewidując, a następnie powtórz ten proces razy. Następnie możesz uruchomić wskaźniki dokładności dla wszystkich swoich instancji (precyzja, przywołanie,% sklasyfikowane poprawnie), które powinny być takie same, jakbyś je obliczał za każdym …

13 cross-validation