Statystyki i duże zbiory danych self-study

5

Jak wykonać przypisanie wartości w bardzo dużej liczbie punktów danych?

Mam bardzo duży zestaw danych i brakuje około 5% wartości losowych. Te zmienne są ze sobą skorelowane. Poniższy przykładowy zestaw danych R jest tylko zabawkowym przykładem z fałszywymi skorelowanymi danymi. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", …

12 r random-forest missing-data data-imputation multiple-imputation large-data definition moving-window self-study categorical-data econometrics standard-error regression-coefficients normal-distribution pdf lognormal regression python scikit-learn interpolation r self-study poisson-distribution chi-squared matlab matrix r modeling multinomial mlogit choice monte-carlo indicator-function r aic garch likelihood r regression repeated-measures simulation multilevel-analysis chi-squared expected-value multinomial yates-correction classification regression self-study repeated-measures references residuals confidence-interval bootstrap normality-assumption resampling entropy cauchy clustering k-means r clustering categorical-data continuous-data r hypothesis-testing nonparametric probability bayesian pdf distributions exponential repeated-measures random-effects-model non-independent regression error regression-to-the-mean correlation group-differences post-hoc neural-networks r time-series t-test p-value normalization probability moments mgf time-series model seasonality r anova generalized-linear-model proportion percentage nonparametric ranks weighted-regression variogram classification neural-networks fuzzy variance dimensionality-reduction confidence-interval proportion z-test r self-study pdf

2

W danych skośnych po lewej stronie jaki jest związek między średnią a medianą?

Myślę, że mediana ≤≤\leq oznacza. Czy tak jest w przypadku?

12 distributions self-study mean skewness median

4

Oczekiwany numer będę włączony po wyciągnięciu kart, dopóki nie otrzymam asa, 2, 3 itd

Mam problem z rozwiązaniem poniższych problemów. Dobierasz karty ze standardowej talii 52 kart bez wymiany, dopóki nie otrzymasz asa. Dobierasz z tego, co pozostało, dopóki nie dostaniesz 2. Kontynuujesz z 3. Jakiej oczekiwanej liczby będziesz się spodziewać po wyczerpaniu całej talii? To było naturalne pozwolić Ti=first position of card whose …

12 self-study conditional-probability conditional-expectation games conditioning

2

Jakie są kompletne wystarczające statystyki?

Mam problem ze zrozumieniem pełnej wystarczającej statystyki? Niech będzie wystarczającą statystyką.T=ΣxiT=ΣxiT=\Sigma x_i Jeśli z prawdopodobieństwem 1, dla niektórych funkcji g , jest to kompletna wystarczająca statystyka.E[g(T)]=0E[g(T)]=0E[g(T)]=0ggg Ale co to znaczy? Widziałem przykłady uniformów i Bernoulli (strona 6 http://amath.colorado.edu/courses/4520/2011fall/HandOuts/umvue.pdf ), ale nie jest to intuicyjne, bardziej się zdezorientowałem widząc integrację. Czy …

12 self-study estimation intuition decision-theory

1

Różnice między PROC Mixed i lme / lmer w R - stopnie swobody

Uwaga: to pytanie jest repost, ponieważ moje poprzednie pytanie musiało zostać usunięte ze względów prawnych. Porównując PROC MIXED z SAS z funkcją lmez nlmepakietu w R, natknąłem się na pewne dość mylące różnice. Mówiąc dokładniej, stopnie swobody w różnych testach różnią się między PROC MIXEDi lmezastanawiałem się, dlaczego. Zacznij od …

12 r mixed-model sas degrees-of-freedom pdf unbiased-estimator distance-functions functional-data-analysis hellinger time-series outliers c++ relative-risk absolute-risk rare-events regression t-test multiple-regression survival teaching multiple-regression regression self-study t-distribution machine-learning recommender-system self-study binomial standard-deviation data-visualization r predictive-models pearson-r spearman-rho r regression modeling r categorical-data data-visualization ggplot2 many-categories machine-learning cross-validation weka microarray variance sampling monte-carlo regression cross-validation model-selection feature-selection elastic-net distance-functions information-theory r regression mixed-model random-effects-model fixed-effects-model dataset data-mining

2

Przybliżanie całek za pomocą symulacji Monte Carlo w R.

Jak aproksymować następującą całkę za pomocą symulacji MC? ∫1- 1∫1- 1| x-y|d xd y∫-11∫-11|x-y|rexrey \int_{-1}^{1} \int_{-1}^{1} |x-y| \,\mathrm{d}x \,\mathrm{d}y Dzięki! Edycja (jakiś kontekst): Próbuję nauczyć się korzystać z symulacji w celu przybliżenia całek i ćwiczę, gdy napotkałem pewne trudności. Edytuj 2 + 3 : Jakoś się pomyliłem i pomyślałem, że …

12 r self-study monte-carlo

5

Lepsza klasyfikacja domyślna w regresji logistycznej

Pełne ujawnienie: To zadanie domowe. Zamieściłem link do zestawu danych ( http://www.bertelsen.ca/R/logistic-regression.sav ) Moim celem jest zmaksymalizowanie prognozy osób spłacających zaległości kredytowe w tym zbiorze danych. Każdy model, który do tej pory wymyśliłem, przewiduje> 90% domyślnych, ale <40% domyślnych, co daje ogólną skuteczność klasyfikacji ~ 80%. Zastanawiam się więc, czy …

12 r logistic spss self-study

4

Co powoduje, że lasso jest niestabilne przy wyborze funkcji?

argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Czy istnieje podobne twierdzenie dotyczące lasso? Jeśli istnieje takie twierdzenie, nie tylko zagwarantuje ono stabilność lasso, ale także zapewni lasso bardziej sensowną interpretację: lasso może odkryć wektor współczynnika regresji rzadkiej ccc który jest używany do …

12 regression self-study feature-selection lasso regularization

1

Efekt przyczynowy poprzez regulację drzwi tylnych i drzwi wejściowych

Jeśli chcielibyśmy obliczyć przyczynowo-skutkowy wpływ na na poniższym wykresie przyczynowym, możemy użyć zarówno twierdzeń o dopasowaniu tylnych drzwi, jak i przednich drzwi, tj. XXXYYYP(y|do(X=x))=∑uP(y|x,u)P(u)P(y|do(X=x))=∑uP(y|x,u)P(u)P(y | \textit{do}(X = x)) = \sum_u P(y | x, u) P(u) i P(y|do(X=x))=∑zP(z|x)∑x′P(y|x′,z)P(x′).P(y|do(X=x))=∑zP(z|x)∑x′P(y|x′,z)P(x′).P(y | \textit{do}(X = x)) = \sum_z P(z | x) \sum_{x'} P(y|x', z)P(x'). Czy …

12 self-study causality graph-theory dag

1

Dokładny test Fishera i rozkład hipergeometryczny

Chciałem lepiej zrozumieć dokładny test Fishera, więc wymyśliłem następujący przykład zabawki, w którym f i m odpowiada płci męskiej i żeńskiej, a n i y odpowiada takiemu „zużyciu sody”: > soda_gender f m n 0 5 y 5 0 Oczywiście jest to drastyczne uproszczenie, ale nie chciałem, aby kontekst przeszkadzał. …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

1

Dowód, że jeśli istnieje wyższy moment, wówczas również istnieje niższy moment

-ty moment zmiennej losowej jest skończony , jeśli XrrrXXXE ( | Xr| )<∞E(|Xr|)<∞ \mathbb E(|X^r|)< \infty Próbuję pokazać, że dla dowolnej dodatniej liczby całkowitej , wtedy -ty moment jest również skończony.s E [ | X s | ]s < rs<rs<rsssE [ | Xs| ]E[|Xs|]\mathbb E[|X^s|]

12 self-study moments function

4

Bootstrap, Monte Carlo

W ramach pracy domowej postawiono mi następujące pytanie: Zaprojektuj i zaimplementuj badanie symulacyjne w celu zbadania wydajności bootstrapu w celu uzyskania 95% przedziałów ufności na podstawie średniej próbki danych. Twoja implementacja może być w języku R lub SAS. Aspekty wydajności, na które możesz chcieć spojrzeć, to pokrycie przedziału ufności (tj. …

12 r self-study bootstrap monte-carlo

1

Jak zrozumieć, że MLE wariancji jest tendencyjne w rozkładzie Gaussa?

Czytam PRML i nie rozumiem tego obrazu. Czy mógłbyś podać kilka wskazówek, aby zrozumieć obraz i dlaczego MLE wariancji w rozkładzie Gaussa jest stronniczy? wzór 1.55: wzór 1.56 σ 2 M L E =1μM.L E= 1N.∑n = 1N.xnμMLE=1N∑n=1Nxn \mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n σ2)M.L E= 1N.∑n = 1N.( xn- μM.L E)2)σMLE2=1N∑n=1N(xn−μMLE)2 \sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2

12 machine-learning self-study maximum-likelihood

3

Wyprowadzenie regularnej funkcji kosztu regresji liniowej na kurs Coursera Machine Learning

Kilka miesięcy temu wziąłem kurs Andrew Machine na „Machine Learning” przez Coursera, nie zwracając uwagi na większość matematyki / pochodnych i skupiając się na implementacji i praktyczności. Od tego czasu zacząłem wracać, aby studiować niektóre z podstawowych teorii i ponownie zapoznałem się z niektórymi wykładami prof. Ng. Czytałem przez jego …

12 regression self-study

1

Dlaczego LKJcorr jest dobrym rozwiązaniem dla macierzy korelacji?

Czytam rozdział 13 „Przygody w kowariancji” w ( znakomitej ) książce „ Rethinking statystyczny” Richarda McElreath, w której przedstawia on następujący model hierarchiczny: ( Rjest macierzą korelacji) Autor wyjaśnia, że LKJcorrjest to słabo pouczający uprzedni, który działa jako uprzedni regularyzujący dla matrycy korelacji. Ale dlaczego tak jest? Jakie cechy LKJcorrrozkładu …

12 regression self-study correlation prior hierarchical-bayesian

Pytania otagowane jako self-study