Statystyki i duże zbiory danych

Test Durbina-Watsona testuje autokorelację reszt przy opóźnieniu 1. Ale tak samo jest z testowaniem autokorelacji przy opóźnieniu 1. Dodatkowo możesz przetestować autokorelację przy opóźnieniu 2,3,4, a istnieją dobre testy Portmanteau dla autokorelacji przy wielu opóźnieniach i uzyskać ładne, łatwo interpretowalne wykresy [np. Funkcja acf () w R]. Durbin-Watson nie jest …

10 time-series  autocorrelation 

Czy ważenie precyzyjne ma kluczowe znaczenie dla metaanalizy? Borenstein i in. (2009) piszą, że aby metaanaliza była możliwa, konieczne jest jedynie: Badania podają oszacowanie punktowe, które można wyrazić jako pojedynczą liczbę. Odchylenie można obliczyć dla tego oszacowania punktowego. Nie jest od razu jasne, dlaczego (2) jest absolutnie niezbędny. Rzeczywiście wszystkie …

10 variance  sample-size  missing-data  meta-analysis 

Jeśli X∈Rn, X∼N(0–,σ2I)X∈Rn, X∼N(0_,σ2I)X\in\mathbb{R}^n,~X\sim \mathcal{N}(\underline{0},\sigma^2\mathbf{I}) tj. fX(x)=1(2πσ2)n/2exp(−||x||22σ2)fX(x)=1(2πσ2)n/2exp⁡(−||x||22σ2) f_X(x) = \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right) Chcę analogicznej wersji skróconego rozkładu normalnego w przypadku wielu odmian. Dokładniej, chcę wygenerować ograniczony normą (do wartości ≥a≥a\geq a ) wielowymiarowy Gaussowski YYY st fY(y)={c.fX(y), if ||y||≥a0, otherwise .fY(y)={c.fX(y), if ||y||≥a0, otherwise . f_Y(y) = \begin{cases} c.f_X(y), \text{ if …

10 normal-distribution  simulation  random-generation 

Poniżej znajduje się nomogram utworzony z zestawu danych mtcars z pakietem rms dla formuły: mpg ~ wt + am + qsec Sam model wydaje się dobry z R2 wynoszącym 0,85 i P <0,00001 > mod Linear Regression Model ols(formula = mpg ~ wt + am + qsec, data = mtcars) …

10 regression  multiple-regression  data-visualization  predictive-models  regression-strategies 

Przeczytałem w artykule następujące zdanie: Fakt, że istnieje różnica między współczynnikami krótko- i długoterminowymi, wynika z naszej specyfikacji, która obejmuje opóźnione zmienne endogeniczne. Prowadzą regresję pierwszych różnic i obejmują opóźnienie zmiennej zależnej. Teraz twierdzą, że jeśli spojrzysz na oszacowanie (np. Nazwijmy to oszacowanie ) z wyjścia, to jest to krótkoterminowy …

10 regression  time-series  lags 

Statystyka testowa Durbin, Watson może leżeć w obszarze jednoznaczne, w których nie jest możliwe albo odrzucić czy nie odrzucenia hipotezy zerowej (w tym przypadku zero autokorelacji). Jakie inne testy statystyczne mogą dać „niejednoznaczne” wyniki? Czy istnieje ogólne wyjaśnienie (machanie ręką jest w porządku), dlaczego ten zestaw testów nie jest w …

10 hypothesis-testing  statistical-significance  decision-theory 

Mam następujące proste wektory X i Y: > X [1] 1.000 0.063 0.031 0.012 0.005 0.000 > Y [1] 1.000 1.000 1.000 0.961 0.884 0.000 > > plot(X,Y) Chcę wykonać regresję za pomocą dziennika X. Aby uniknąć uzyskania dziennika (0), próbuję umieścić +1 lub +0.1 lub +0.00001 lub +0.000000000000001: > …

10 r  regression  lognormal 

Jestem prawie pewien, że widziałem już następujący wynik w statystykach, ale nie pamiętam gdzie. Jeżeli jest dodatnią zmienną losową i E ( X ) < ∞ następnie ε F - 1 ( 1 - ε ) → 0 gdy ε → 0 + , gdzie M jest CDF X .XXXE …

10 references  quantiles  cdf  moments 

Mam więc model binarny, w którym y∗1y1∗y_1^* jest ukrytą nieobserwowaną zmienną, a y1∈{0,1}y1∈{0,1}y_1 \in \{0,1\} jest obserwowany. y2y2y_2 określa y1y1y_1 a z2z2z_2 jest zatem moim instrumentem. Krótko mówiąc, model jest. y∗1y2y1===δ1z1+α1y2+u1δ21z1+δ22z2+v2=zδ+v21[y∗>0]y1∗=δ1z1+α1y2+u1y2=δ21z1+δ22z2+v2=zδ+v2y1=1[y∗>0]\begin{eqnarray} y_1^*&=& \delta_1 z_1 + \alpha_1 y_2 + u_1 \\ y_2 &=& \delta_{21} z_1 + \delta_{22}z_2 + v_2 = \textbf{z}\delta …

10 maximum-likelihood  econometrics  probit 

W części 7 artykułu Random Forests (Breiman, 1999) autor stwierdza następującą hipotezę: „Adaboost to las losowy”. Czy ktoś to udowodnił lub obalił? Co zrobiono, aby udowodnić lub obalić ten post po 1999 roku?

10 machine-learning  random-forest  boosting 

Przepraszam za niewielkie nadużycie terminologii; Mam nadzieję, że stanie się jasne, co mam na myśli poniżej. Rozważmy zmienną losową . Zarówno średnią, jak i medianę można scharakteryzować za pomocą kryterium optymalności: średnia to liczba μ, która minimalizuje E ( ( X - μ ) 2 ) , oraz mediana tej …

10 mean  median 

Rozumiem, że szkolenie wstępne jest stosowane, aby uniknąć niektórych problemów z konwencjonalnym treningiem. Jeśli używam propagacji wstecznej z, powiedzmy autoencoderem, wiem, że napotkam problemy z czasem, ponieważ propagacja wsteczna jest powolna, a także że mogę utknąć w lokalnych optymach i nie nauczyć się niektórych funkcji. To, czego nie rozumiem, to …

10 machine-learning  neural-networks  backpropagation  rbm  pre-training 

Wyobraź sobie sytuację: mamy historyczne zapisy (20 lat) trzech kopalń. Czy obecność srebra zwiększa prawdopodobieństwo znalezienia złota w przyszłym roku? Jak przetestować takie pytanie? Oto przykładowe dane: mine_A <- c("silver","rock","gold","gold","gold","gold","gold", "rock","rock","rock","rock","silver","rock","rock", "rock","rock","rock","silver","rock","rock") mine_B <- c("rock","rock","rock","rock","silver","rock","rock", "silver","gold","gold","gold","gold","gold","rock", "silver","rock","rock","rock","rock","rock") mine_C <- c("rock","rock","silver","rock","rock","rock","rock", "rock","silver","rock","rock","rock","rock","silver", "gold","gold","gold","gold","gold","gold") time <- seq(from = 1, to = 20, …

10 r  time-series  hypothesis-testing  stochastic-processes 

Jak sugerowano w tytule. Załóżmy że są ciągłymi i losowymi zmiennymi z pdf . Rozważmy zdarzenie, w którym , , a zatem oznacza, że ​​sekwencja zmniejsza się po raz pierwszy. Jaka jest zatem wartość ?X1,X2,…,XnX1,X2,…,XnX_1, X_2, \dotsc, X_nfffX1≤X2…≤XN−1>XNX1≤X2…≤XN−1>XNX_1 \leq X_2 \dotsc \leq X_{N-1} > X_NN≥2N≥2N \geq 2NNNE[N]E[N]E[N] Najpierw próbowałem ocenić …

10 probability  self-study  iid 

Mam macierz , zawierającą moje próbek w przestrzeni wymiarowej . Chcę teraz zakodować własną analizę głównych składników (PCA) w Matlabie. I poniżać do pierwszy.20×10020×10020\times100N = 20 D = 100 X X 0XXXN=20N=20N=20D=100D=100D=100XXXX0X0X_0 Czytam z czyjegoś kodu, że w takich scenariuszach, w których mamy więcej wymiarów niż obserwacji, nie rozkładamy już …

10 pca