Statystyki i duże zbiory danych

Rozumiem, że możemy zastosować regularyzację w przypadku problemu regresji metodą najmniejszych kwadratów jako w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] i że ten problem ma rozwiązanie zamknięte, ponieważ: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Widzimy, że w drugim równaniu regularyzacja po prostu dodaje λλ\lambda do przekątnej XTXXTX\boldsymbol{X}^T\boldsymbol{X} , co ma na …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

Czy ktoś może przedstawić proste (świeckie) wyjaśnienie związku między rozkładami Pareto a centralnym twierdzeniem granicznym (np. Czy ma zastosowanie? Dlaczego / dlaczego nie?)? Próbuję zrozumieć następujące oświadczenie: „Twierdzenie o granicy centralnej nie działa z każdym rozkładem. Wynika to z jednego podstępnego faktu - średnie próbki są skupione wokół średniej rozkładu …

10 variance  central-limit-theorem  intuition  pareto-distribution  fat-tails 

Algorytm SVM jest dość stary - opracowano go w latach 60., ale był niezwykle popularny w latach 90. i 2000. Jest to klasyczna (i dość piękna) część kursów uczenia maszynowego. Dziś wydaje się, że w przetwarzaniu mediów (obrazy, dźwięk itp.) Sieci neuronowe całkowicie dominują, podczas gdy w innych obszarach wzmocnienie …

10 machine-learning  svm 

Robię analizę Matlaba na danych MRI, gdzie wykonałem PCA na matrycy o wymiarach 10304x236, gdzie 10304 to liczba wokseli (traktuj je jako piksele), a 236 to liczba punktów czasowych. PCA daje mi 236 wartości własnych i powiązanych z nimi współczynników. Wszystko w porządku. Jednak, gdy nadchodzi czas, aby zdecydować, ile …

10 pca  eigenvalues  neuroimaging 

Studiuję analizę dyskryminacyjną, ale trudno mi pogodzić kilka różnych wyjaśnień. Wydaje mi się, że czegoś mi brakuje, ponieważ nigdy wcześniej nie spotkałem się z takim (pozornym) poziomem rozbieżności. Biorąc to pod uwagę, liczba pytań dotyczących analizy dyskryminacyjnej na tej stronie wydaje się świadczyć o jej złożoności. LDA i QDA dla …

10 multivariate-analysis  discriminant-analysis 

Załaduj potrzebny pakiet. library(ggplot2) library(MASS) Wygeneruj 10 000 liczb dopasowanych do rozkładu gamma. x <- round(rgamma(100000,shape = 2,rate = 0.2),1) x <- x[which(x>0)] Narysuj funkcję gęstości prawdopodobieństwa, zakładając, że nie wiemy, do którego rozkładu x pasuje. t1 <- as.data.frame(table(x)) names(t1) <- c("x","y") t1 <- transform(t1,x=as.numeric(as.character(x))) t1$y <- t1$y/sum(t1[,2]) ggplot() + …

10 r  mathematical-statistics  goodness-of-fit  gamma-distribution  ggplot2 

Mam następujący dyskretny rozkład, w którym są znanymi stałymi:α , βα,β\alpha,\beta p ( x ; α , β) =Beta ( α + 1 , β+ x )Beta ( α , β)dla x = 0 , 1 , 2 , …p(x;α,β)=Beta(α+1,β+x)Beta(α,β)dla x=0,1,2),… p(x;\alpha,\beta) = \frac{\text{Beta}(\alpha+1, \beta+x)}{\text{Beta}(\alpha,\beta)} \;\;\;\;\text{for } x = 0,1,2,\dots …

10 sampling  mcmc  computational-statistics  importance-sampling  rejection-sampling 

Zawsze jestem nieco zaskoczony, widząc reklamy psychologiczne za udział w badaniach eksperymentalnych. Z pewnością ludzie, którzy reagują na te reklamy, nie są losowo wybierani, a zatem stanowią populację wybraną przez siebie. Ponieważ wiadomo, że randomizacja rozwiązuje problem samoselekcji, zastanawiałem się, czy randomizacja próbki nieprzypadkowej rzeczywiście coś zmieniła. Co myślisz ? …

10 sampling  psychology  random-allocation 

Chcę nauczyć się ANOVA. Zanim zacznę się uczyć, jak działa algorytm (jakie obliczenia należy wykonać) i dlaczego działa, najpierw chciałbym wiedzieć, jaki problem rozwiązujemy za pomocą ANOVA lub jaką odpowiedź próbujemy odpowiedzieć. Innymi słowy: co to jest dane wejściowe i dane wyjściowe algorytmu? Rozumiem, co wykorzystujemy jako wkład. Mamy zestaw …

10 anova 

Próbuję zrozumieć architekturę RNN. Znalazłem ten samouczek, który był bardzo pomocny: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Zwłaszcza ten obraz: Jak to pasuje do sieci feed-forward? Czy ten obraz jest po prostu innym węzłem w każdej warstwie?

10 neural-networks  lstm 

W notatkach z mojego wykładu jest napisane: rozkład t wygląda normalnie, choć z nieco cięższymi ogonami. Rozumiem, dlaczego wyglądałoby to normalnie (z powodu twierdzenia o granicy centralnej). Ale trudno mi zrozumieć, jak matematycznie udowodnić, że ma on cięższe ogony niż rozkład normalny i czy istnieje sposób na zmierzenie, w jakim …

10 normal-distribution  t-distribution  heavy-tailed 

Chcę kwantyfikować związek między dwiema zmiennymi, A i B, wykorzystując wzajemne informacje. Można to obliczyć, dzieląc obserwacje (patrz przykładowy kod Python poniżej). Jednak jakie czynniki determinują, jaka liczba pojemników jest rozsądna? Potrzebuję szybkiego obliczenia, więc nie mogę po prostu użyć wielu pojemników, aby zachować bezpieczeństwo. from sklearn.metrics import mutual_info_score def …

10 information-theory  mutual-information  binning 

Kontekst Próbuję zrozumieć, w jaki sposób Rxx () przyjmuje i obsługuje powtarzające się wpisy dla podmiotów (lub pacjenta / klienta, jeśli wolisz). Niektórzy nazywają to długim formatem, inni nazywają to „powtarzanymi pomiarami”. Zobacz na przykład zestaw danych zawierający kolumnę identyfikatora w sekcji Odpowiedzi na: Najlepsze pakiety dla modeli Coxa z …

10 r  repeated-measures  survival  cox-model  frailty 

Mam losową zmienną 1-D, która jest niezwykle wypaczona. Aby znormalizować ten rozkład, chcę raczej użyć mediany niż średniej. moje pytanie brzmi: czy mogę obliczyć wariancję rozkładu przy użyciu mediany we wzorze zamiast średniej? tzn. czy mogę wymienić V a r (X) = ∑ [ (Xja- m e a n ( …

10 variance  mean  median 

Co sądzisz o używaniu regresji do wyświetlania poza zakresem danych? Jeśli jesteśmy pewni, że podąża za kształtem liniowym lub potęgowym, czy model nie byłby przydatny poza zakresem danych? Na przykład mam wolumen napędzany przez cenę. Uważamy, że powinniśmy być w stanie prognozować ceny poza zakresem danych. Twoje myśli? VOL PRICE …

10 regression  dataset  linear-model