Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

1
Czy zgłoszono najnowszą wydajność wykorzystania wektorów akapitowych do analizy sentymentów?
Byłem pod wrażeniem wyników w artykule ICML 2014 „ Rozproszone reprezentacje zdań i dokumentów ” Le i Mikołaja. Technika, którą opisują, zwana „wektorami akapitowymi”, uczy się nienadzorowanej reprezentacji arbitralnie długich akapitów / dokumentów, w oparciu o rozszerzenie modelu word2vec. W artykule przedstawiono najnowsze wyniki analizy nastrojów przy użyciu tej techniki. …
1
Dlaczego szacunkowe wartości z najlepszego liniowego bezstronnego predyktora (BLUP) różnią się od najlepszego liniowego bezstronnego estymatora (NIEBIESKI)?
Rozumiem, że różnica między nimi jest związana z tym, czy zmienna grupująca w modelu jest szacowana jako efekt stały czy losowy, ale nie jest dla mnie jasne, dlaczego nie są takie same (jeśli nie są takie same). Interesuje mnie szczególnie, jak to działa, gdy stosuje się oszacowanie małego obszaru, jeśli …
4
Jak złe jest strojenie hiperparametrów poza walidacją krzyżową?
Wiem, że przeprowadzanie strojenia hiperparametrów poza walidacją krzyżową może prowadzić do stronniczo wysokich oszacowań zewnętrznej ważności, ponieważ zestaw danych używany do mierzenia wydajności jest taki sam, jak użyty do dostrojenia funkcji. Zastanawiam się, jak poważny jest to problem . Rozumiem, jak źle byłoby przy wyborze funkcji, ponieważ daje to ogromną …
2
Jak interpretować te wykresy acf i pacf
Poniżej przedstawiono wykresy acf i pacf miesięcznych serii danych. Drugi wykres to acf z ci.type = 'ma': Utrzymywanie się wysokich wartości na wykresie acf prawdopodobnie reprezentuje długoterminowy pozytywny trend. Pytanie brzmi, czy odzwierciedla to sezonowość? Próbowałem zobaczyć różne strony na ten temat, ale nie jestem pewien, czy te wątki pokazują …
2
Czy jest jakaś przewaga SVD nad PCA?
Wiem, jak obliczyć PCA i SVD matematycznie, i wiem, że oba można zastosować do regresji liniowej najmniejszych kwadratów. Główną zaletą SVD matematycznie wydaje się być to, że można ją zastosować do macierzy niekwadratowych. Oba skupiają się na rozkładzie macierzyPoza wymienioną przewagą SVD, czy istnieją jakieś dodatkowe zalety lub spostrzeżenia zapewniane …
20 pca  least-squares  svd 
1
Jak stosować metodę delta do standardowych błędów efektów marginalnych?
Interesuje mnie lepsze zrozumienie metody delta do aproksymacji standardowych błędów średnich efektów krańcowych modelu regresji, który obejmuje termin interakcji. Patrzyłem na powiązane pytania metodą delta, ale żadne nie dostarczyło tego, czego szukam. Rozważ następujące przykładowe dane jako motywujący przykład: set.seed(1) x1 <- rnorm(100) x2 <- rbinom(100,1,.5) y <- x1 + …
6
Czy mediana jest rodzajem środka dla pewnego uogólnienia „środka”?
Pojęcie „średniej” wędruje znacznie szerzej niż tradycyjna średnia arytmetyczna; czy rozciąga się tak daleko, że obejmuje medianę? Przez analogię raw data⟶idraw data⟶meanraw mean⟶id−1arithmetic meanraw data⟶recipreciprocals⟶meanmean reciprocal⟶recip−1harmonic meanraw data⟶loglogs⟶meanmean log⟶log−1geometric meanraw data⟶squaresquares⟶meanmean square⟶square−1root mean squareraw data⟶rankranks⟶meanmean rank⟶rank−1medianraw data⟶idraw data⟶meanraw mean⟶id−1arithmetic meanraw data⟶recipreciprocals⟶meanmean reciprocal⟶recip−1harmonic meanraw data⟶loglogs⟶meanmean log⟶log−1geometric meanraw data⟶squaresquares⟶meanmean square⟶square−1root mean squareraw …
20 mean  average  median 
2
Metody obliczania wyników czynnikowych i jaka jest macierz „współczynnika wyników” w PCA lub analizie czynnikowej?
Jak rozumiem, w PCA opartym na korelacjach otrzymujemy ładunki czynnikowe (= główny składnik w tym przypadku), które są niczym innym jak korelacjami między zmiennymi i czynnikami. Teraz, gdy muszę wygenerować wyniki czynnikowe w SPSS, mogę bezpośrednio uzyskać wyniki czynnikowe każdego respondenta dla każdego czynnika. Zauważyłem również, że jeśli pomnożę „ …
2
Kowariancja losowego wektora po transformacji liniowej
Jeśli jest losowym wektorem, a jest stałą macierzą, ktoś mógłby wyjaśnić, dlaczego A c o v [ A Z ] = A c o v [ Z ] A ⊤ .ZZ\mathbf {Z}AAAcov[AZ]=Acov[Z]A⊤.cov[AZ]=Acov[Z]A⊤.\mathrm{cov}[A \mathbf {Z}]= A \mathrm{cov}[\mathbf {Z}]A^\top.
20 covariance 
1
Jak uzyskać wartość średniego błędu kwadratu w regresji liniowej w R.
Niech model regresji liniowej uzyskany przez funkcję R lm chciałby wiedzieć, czy można to uzyskać za pomocą polecenia Mean Squared Error. Miałem następujący wynik w przykładzie > lm <- lm(MuscleMAss~Age,data) > sm<-summary(lm) > sm Call: lm(formula = MuscleMAss ~ Age, data = data) Residuals: Min 1Q Median 3Q Max -16.1368 …
20 r  regression  error 
2
Próbkowanie Gibbsa w porównaniu z ogólnym MH-MCMC
Właśnie czytałem trochę na temat próbkowania Gibbsa i algorytmu Metropolis Hastings i mam kilka pytań. Jak rozumiem, w przypadku próbkowania Gibbsa, jeśli mamy duży problem wielowymiarowy, próbkujemy z rozkładu warunkowego, tj. Próbkujemy jedną zmienną, utrzymując wszystkie pozostałe w stałym, podczas gdy w MH próbkujemy z pełnego wspólnego rozkładu. Jedną rzeczą, …
2
KKT kontra nieograniczone sformułowanie regresji lasso
Regresja penalizowana przez L1 (aka lasso) jest prezentowana w dwóch formulacjach. Niech dwie funkcje celu to Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1.Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1. Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1. Następnie dwie różne formulacje to argminβQ1argminβQ1 \text{argmin}_\beta \; Q_1 zastrzeżeniem ||β||1≤t,||β||1≤t, ||\beta||_1 \leq t, i równoważnie argminβQ2.argminβQ2. \text{argmin}_\beta \; Q_2. …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.