Statystyki i duże zbiory danych

Sieci autokoderów wydają się znacznie trudniejsze niż normalne sieci MLP klasyfikujące. Po kilku próbach użycia Lasagne wszystko, co otrzymuję w zrekonstruowanym wyjściu, jest w najlepszym razie rozmyte uśrednianie wszystkich obrazów bazy danych MNIST, bez rozróżnienia na to, co faktycznie jest cyfrą wejściową. Wybrana przeze mnie struktura sieci to następujące warstwy …

9 machine-learning  neural-networks  dimensionality-reduction  unsupervised-learning  autoencoders 

Czy można mieć zestaw zmiennych, które są nieskorelowane, ale zależne liniowo?KKK tj. i \ sum_ {i = 1} ^ K a_ix_i = 0c o r (xja,xjot) = 0cor(xi,xj)=0cor(x_i, x_j)=0∑K.i = 1zajaxja= 0∑i=1Kaixi=0 \sum_{i=1}^K a_ix_i=0 Jeśli tak, czy możesz napisać przykład? EDYCJA: Z odpowiedzi wynika, że ​​nie jest to możliwe. Czy …

9 correlation  mathematical-statistics  multicollinearity 

To pytanie dotyczy prawdopodobieństwa sukcesu w grze fabularnej. Jednak pytanie i odpowiedzi nie obejmują niektórych złożoności mechaniki kości. W szczególności nie obejmuje to w ogóle biczów (jeden możliwy wynik). Gracz ma pulę kości opartą na mechanice w grze, która nie ma związku z tym pytaniem. Pula kości jest zmienną liczbą …

9 dice 

Przeczytałem w książce dotyczącej uczenia maszynowego, że parametry regresji liniowej można oszacować (między innymi metodami) za pomocą spadku gradientu, podczas gdy parametry regresji logistycznej są zwykle szacowane przez oszacowanie maksymalnego prawdopodobieństwa. Czy można wyjaśnić nowicjuszowi (mi), dlaczego potrzebujemy różnych metod regresji liniowej / logistycznej. alias dlaczego nie MLE dla regresji …

9 regression  logistic  maximum-likelihood 

W tym artykule ( Bayesian Inference for Variance Components using Only Error Contrasts , Harville, 1974), autor twierdzi ( y- Xβ)′H.- 1( y- Xβ) = ( y- Xβ^)′H.-1( y- Xβ^) + ( β-β^)′(X′H.- 1X) ( β-β^)(y-Xβ)′H.-1(y-Xβ)=(y-Xβ^)′H.-1(y-Xβ^)+(β-β^)′(X′H.-1X)(β-β^)(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta) być „znaną relacją” dla regresji liniowej y= Xβ+ ϵ ,y=Xβ+ϵ,y=X\beta+\epsilon, gdzie ε ~ N( …

9 regression  regression-coefficients  heteroscedasticity  bias  linear-algebra 

Wartością współczynnika Bayesa jest zdefiniowana w Bayesa testowanie hipotez i wybór modelu Bayesowskiego przez stosunek dwóch krańcowych wiarogodności: podany Próbkę IID i odpowiednich gęstości próbkowania i , z odpowiednimi priorytetami i , współczynnikiem Bayesa do porównania dwóch modeli jest książka ja obecnie przeglądu ma dziwne stwierdzenie, że powyższy czynnik Bayesa(x1,…,xn)(x1,…,xn)(x_1,\ldots,x_n)f1(x|θ)f1(x|θ)f_1(x|\theta)f2(x|η)f2(x|η)f_2(x|\eta)π1π1\pi_1π2π2\pi_2B12(x1,…,xn)=defm1(x1,…,xn)m2(x1,…,xn)=def∫∏ni=1f1(xi|θ)π1(dθ)∫∏ni=1f2(xi|η)π2(dη)B12(x1,…,xn)=defm1(x1,…,xn)m2(x1,…,xn)=def∫∏i=1nf1(xi|θ)π1(dθ)∫∏i=1nf2(xi|η)π2(dη)\mathfrak{B}_{12}(x_1,\ldots,x_n)\stackrel{\text{def}}{=}\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\stackrel{\text{def}}{=}\frac{\int …

9 bayes  marginal  sequential-analysis  bayes-factors 

Rozważ dwukrotne zróżnicowanie i symetryczny rozkład faXFX\mathcal{F}_X. Rozważmy teraz drugi dwukrotnie różny rozkładfaZFZ\mathcal{F}_Z sztywność wypaczona w tym sensie, że: ( 1 )faX⪯dofaZ.(1)FX⪯cFZ.(1)\quad\mathcal{F}_X\preceq_c\mathcal{F}_Z. gdzie ⪯do⪯c\preceq_c jest wypukłym porządkiem van Zwet [0], więc ( 1 )(1)(1) jest równa: ( 2 )fa- 1ZfaX( X ) jest wypukła ∀ x ∈ R .(2)FZ−1FX(x) is …

9 distributions  skewness 

Mam ponad 1000 próbek danych z 19 zmiennymi. Moim celem jest przewidzenie zmiennej binarnej na podstawie pozostałych 18 zmiennych (binarnych i ciągłych). Jestem całkiem pewien, że 6 zmiennych predykcyjnych jest powiązanych z odpowiedzią binarną, chciałbym jednak dalej analizować zestaw danych i szukać innych powiązań lub struktur, których mógłbym brakować. Aby …

9 pca 

Próbowałem ustalić nierówność |Ti|=∣∣Xi−X¯∣∣S≤n−1n−−√|Ti|=|Xi−X¯|S≤n−1n\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}} gdzie to średnia próbki, a standardowe odchylenie próbki, to znaczy .X¯X¯\bar{X}SSSS=∑ni=1(Xi−X¯)2n−1−−−−−−−−−√S=∑i=1n(Xi−X¯)2n−1S=\sqrt{\frac{\sum_{i=1}^n \left( X_i -\bar{X} \right)^2}{n-1}} Łatwo zauważyć, że a więc ale to nie jest bardzo blisko tego, czego szukałem, ani nie jest to przydatne ograniczenie. Eksperymentowałem z Cauchy-Schwarzem i nierównościami trójkąta, …

9 self-study  descriptive-statistics  bounds 

mam NNN(~ milion) wektorów cech. Tam sąMMM (~ milion) funkcji binarnych, ale tylko w każdym wektorze KKK (~ tysiąc) z nich byłoby 111, reszta to 000. Szukam par wektorów, które mają przynajmniejLLL (~ sto) wspólnych cech (111zarówno). Liczba takich par jest podobna do wielkościNNN (~ milion). Myślę, że można to …

9 algorithms  high-dimensional 

Problem Chciałbym wyciągnąć wnioski na temat systemu analogicznego do śmierci z nieznaną liczbą stron. Kostka jest walcowana kilka razy, po czym chciałbym wywnioskować rozkład prawdopodobieństwa dla parametru odpowiadającego liczbie boków matrycy, θ. Intuicja Jeśli po 40 rzutach zaobserwowałeś 10 czerwonych, 10 niebieskich, 10 zielonych i 10 żółtych, wydaje się, że …

9 r  probability  bayesian  jags 

W moim podręczniku ekonometrycznym (wprowadzającym ekonometrii) dotyczącym OLS autor pisze: „SSR musi upaść, gdy zostanie dodana inna zmienna objaśniająca”. Dlaczego tak jest

9 regression  optimization  econometrics  intuition  sums-of-squares 

Używam lmera w R, aby sprawdzić wpływ warunku ( cond) na jakiś wynik. Oto niektóre skompilowane dane, gdzie s jest identyfikatorem podmiotu i a, bi csą warunkami. library("tidyr") library("dplyr") set.seed(123) temp <- data.frame(s = paste0("S", 1:30), a = rnorm(30, -2, 1), b = rnorm(30, -3, 1), c = rnorm(30, -4, …

9 r  lme4-nlme  contrasts 

Mam dane miesięczne od 1993 do 2015 roku i chciałbym przeprowadzić prognozę tych danych. Użyłem pakietu tsoutliers do wykrycia wartości odstających, ale nie wiem, jak dalej prognozować z moim zestawem danych. To jest mój kod: product.outlier<-tso(product,types=c("AO","LS","TC")) plot(product.outlier) To jest mój wynik z pakietu tsoutliers ARIMA(0,1,0)(0,0,1)[12] Coefficients: sma1 LS46 LS51 LS61 …

9 r  time-series  forecasting  arima  outliers 

Załóżmy, że mam eksperyment z dwoma lub więcej czynnikami. Konstruowana jest ogólna ANOVA, a następnie przeprowadzamy kolejne dwa lub więcej zestawów testów post hoc , powiedzmy wiele porównań. Moje pytanie dotyczy tego, jak duże --- i ile --- rodzin powinno być wykorzystane jako podstawa do dopasowania mnogości tych testów post …

9 multiple-comparisons  post-hoc