Statystyki i duże zbiory danych

Mam dwie części wielowymiarowego zestawu danych, nazwijmy je trainitest . Chcę zbudować model na podstawie zestawu danych pociągu, a następnie zweryfikować go na zestawie danych testowych. Liczba klastrów jest znana. Próbowałem zastosować klastrowanie k-średnich w R i otrzymałem obiekt zawierający centra klastrów: kClust <- kmeans(train, centers=N, nstart=M) Czy w R …

14 r  clustering  k-means 

Jaka jest asymptotyczna złożoność czasowa regresji Lasso wraz ze wzrostem liczby wierszy lub kolumn?

14 lasso  time-complexity 

Zamierzam użyć modelu ARMA-GARCH do finansowych szeregów czasowych i zastanawiałem się, czy seria powinna być stacjonarna przed zastosowaniem tego modelu. Wiem, że stosuję model ARMA, seria powinna być stacjonarna, jednak nie jestem pewien co do ARMA-GARCH, ponieważ uwzględniam błędy GARCH, które sugerują grupowanie zmienności i niestałą wariancję, a zatem szereg …

14 time-series  finance  arma 

Czy można przeprowadzić analizę mocy dla testu U Kruskala-Wallisa i Manna-Whitneya? Jeśli tak, czy są jakieś pakiety / funkcje R, które je wykonują?

14 r  nonparametric  power-analysis  kruskal-wallis 

Mam wyniki tego samego testu zastosowane do dwóch niezależnych próbek: x <- c(17, 12, 13, 16, 9, 19, 21, 12, 18, 17) y <- c(10, 6, 15, 9, 8, 11, 8, 16, 13, 7, 5, 14) I chcę obliczyć test sumy rang Wilcoxona. Kiedy ręcznie obliczam statystykę , otrzymuję: T …

14 r  wilcoxon-mann-whitney  wilcoxon-signed-rank 

Mam problem ze zrozumieniem przekleństwa wymiarowości. W szczególności natknąłem się na to podczas wykonywania scikit-learnsamouczka w Pythonie. Czy ktoś może wyjaśnić poniżej w prostszy sposób? Przepraszam, staram się zrozumieć od dłuższego czasu i nie mogę zrozumieć, w jaki sposób wymyślili obliczenia liczby przykładów szkoleń, aby uzyskać skuteczny estymator KNN? Oto …

14 machine-learning 

Próbowałem zrozumieć algorytm Metropolis-Hastings, aby napisać kod do oszacowania parametrów modelu (tj. ). Według bibliografii algorytm Metropolis-Hastings ma następujące kroki:f(x)=a∗xf(x)=a∗xf(x)=a*x WygenerujYt∼q(y|xt)Yt∼q(y|xt)Y_t \sim q(y|x^t) Xt+1={Yt,xt,with probabilityρ(xt,Yt),with probability1−ρ(xt,Yt),Xt+1={Yt,with probabilityρ(xt,Yt),xt,with probability1−ρ(xt,Yt),X^{t+1}=\begin{cases} Y^t, & \text{with probability} \quad \rho(x^t,Y_t), \\ x^t, & \text{with probability} \quad 1-\rho(x^t,Y_t), \end{cases} gdzieρ(x,y)=min(f(y)f(x)∗q(x|y)q(y|x),1)ρ(x,y)=min(f(y)f(x)∗q(x|y)q(y|x),1)\rho(x,y)=\min \left( \frac{f(y)}{f(x)}*\frac{q(x|y)}{q(y|x)},1 \right) Jak chciałbym zadać kilka …

14 mcmc  metropolis-hastings 

Próbuję zrozumieć, jak działa Losowy Las. Rozumiem, jak buduje się drzewa, ale nie rozumiem, w jaki sposób Losowy Las przewiduje prognozy na podstawie próbki z torby. Czy ktoś mógłby mi podać proste wyjaśnienie? :)

14 random-forest  prediction 

Zastanawiam się, czy ktoś mógłby mi powiedzieć, czy poprawnie obliczyłem przedział ufności dla różnicy między dwiema proporcjami. Wielkość próby wynosi 34, z czego 19 to kobiety, a 15 to mężczyźni. Dlatego różnica w proporcjach wynosi 0,1176471. Obliczam 95% przedział ufności dla różnicy między -0,1183872 a 0,3536814. Gdy przedział ufności przechodzi …

14 r  confidence-interval 

Niedawno losowe przeglądanie pytań wywołało wspomnienie podpowiedzi jednego z moich profesorów sprzed kilku lat ostrzegających o stosowaniu współczynników w modelach regresji. Zacząłem więc o tym czytać, prowadząc ostatecznie do Kronmal 1993. Chcę się upewnić, że poprawnie interpretuję jego sugestie dotyczące sposobu ich modelowania. Dla modelu o stosunku o tym samym …

14 regression  modeling  interaction  weighted-regression  ratio 

Zastanawiałem się tylko, czy regresja Poissona zawiera termin błędu? Czy regresja Poissona może mieć losowe skutki i błąd? Jestem zdezorientowany co do tego punktu. W regresji logistycznej nie występuje termin błędu, ponieważ zmienna wynikowa jest binarna. Czy to jedyny model glm, który nie ma terminu rezydualnego?

14 regression  mixed-model  generalized-linear-model  poisson-regression 

Wyobraź sobie następującą konfigurację: masz 2 monety, monetę A, która jest gwarantowana , oraz monetę B, która może, ale nie musi być uczciwa. Zostaniesz poproszony o wykonanie 100 rzutów monetą, a Twoim celem jest maksymalizacja liczby głów . Wcześniejsze informacje na temat monety B były takie, że została ona odwrócona …

14 bayesian  decision-theory 

Oto mój kontekst dla tego pytania: Z tego co mogę powiedzieć, nie możemy uruchomić zwykłej regresji metodą najmniejszych kwadratów w R, gdy używamy danych ważonych i surveypakietu. Tutaj musimy użyć svyglm(), który zamiast tego uruchamia uogólniony model liniowy (który może być tym samym? Jestem tutaj rozmyty pod względem tego, co …

14 r  generalized-linear-model  least-squares  r-squared  deviance 

Czy sensowne jest wykonanie PCA przed przeprowadzeniem losowej klasyfikacji lasu? Mam do czynienia z wielowymiarowymi danymi tekstowymi i chcę zrobić redukcję funkcji, aby uniknąć przekleństwa wymiarowości, ale czy losowe lasy już nie zmniejszają wymiarów?

14 classification  pca  random-forest  dimensionality-reduction  high-dimensional 

Czy ktoś może wyjaśnić matematykę związaną z klasyfikacją w CART? Chcę zrozumieć, jak przebiegają dwa główne etapy. Na przykład przeszkoliłem klasyfikator CART na zestawie danych i użyłem testowego zestawu danych, aby oznaczyć jego predykcyjne działanie, ale: Jak wybiera się początkowy korzeń drzewa? Dlaczego i jak powstaje każda gałąź? Mój zestaw …

14 regression  classification  data-mining  cart