Statystyki i duże zbiory danych sampling

12

Dlaczego 95% przedział ufności (CI) nie oznacza 95% szansy na zawarcie średniej?

Wydaje się, że poprzez różne powiązane pytania tutaj istnieje zgoda, że „95%” części tego, co nazywamy „95% przedziałem ufności”, odnosi się do faktu, że jeśli mielibyśmy dokładnie odtworzyć nasze procedury próbkowania i obliczeń CI wiele razy , 95% tak obliczonych CI zawierałoby średnią populacji. Wydaje się również, że zgoda ta …

228 probability confidence-interval sampling mean population

8

Czy pobieranie próbek ma znaczenie w czasach „dużych zbiorów danych”?

Lub bardziej „czy to będzie”? Big Data sprawia, że statystyki i odpowiednia wiedza stają się tym ważniejsze, ale wydaje się, że nie uwzględniają teorii próbkowania. Widziałem ten szum wokół „Big Data” i nie mogę się dziwić, że „dlaczego” chciałbym wszystko analizować ? Czy nie było powodu, aby „teorię próbkowania” zaprojektować …

54 sampling data-mining large-data

5

Centralne twierdzenie graniczne dla przykładowych median

Jeśli obliczę medianę wystarczająco dużej liczby obserwacji pochodzących z tego samego rozkładu, to czy centralne twierdzenie graniczne stwierdza, że rozkład median będzie zbliżony do rozkładu normalnego? Rozumiem, że dotyczy to dużej liczby próbek, ale czy dotyczy to również median? Jeśli nie, jaki jest podstawowy rozkład przykładowych median?

54 normal-distribution mathematical-statistics sampling median central-limit-theorem

5

Wnioskowanie statystyczne, gdy próbka „jest” populacją

Wyobraź sobie, że musisz sporządzać raporty dotyczące liczby kandydatów, którzy co roku przystępują do danego testu. Wydaje się raczej trudno wnioskować o obserwowanym% sukcesu, na przykład w odniesieniu do szerszej populacji ze względu na specyfikę populacji docelowej. Możesz więc wziąć pod uwagę, że dane te reprezentują całą populację. Czy wyniki …

47 hypothesis-testing population sampling

4

Jak pobierać próbki z rozkładu normalnego ze znaną średnią i wariancją przy użyciu konwencjonalnego języka programowania?

Nigdy nie miałem kursu statystyki, więc mam nadzieję, że pytam w odpowiednim miejscu. Załóżmy, że mam tylko dwa dane opisujące rozkład normalny: średnią i wariancję . Chcę użyć komputera do losowego pobierania próbek z tej dystrybucji, tak aby uszanować te dwie statystyki.μμ\muσ2σ2)\sigma^2 To całkiem oczywiste, że mogę poradzić sobie ze …

36 normal-distribution sampling computing

5

Dlaczego zwiększenie wielkości próby obniża wariancję (próbkowanie)?

Duży obraz: Próbuję zrozumieć, jak zwiększenie wielkości próbki zwiększa moc eksperymentu. Slajdy mojego wykładowcy wyjaśniają to za pomocą obrazu 2 rozkładów normalnych, jednego dla hipotezy zerowej i drugiego dla hipotezy alternatywnej i progu decyzyjnego c między nimi. Twierdzą, że zwiększenie wielkości próby obniży wariancję, a tym samym spowoduje wyższą kurtozę, …

35 variance sampling power

5

Czy przykładowa macierz kowariancji jest zawsze symetryczna i dodatnia?

Czy przy obliczaniu macierzy kowariancji próbki można uzyskać macierz symetryczną i dodatnią? Obecnie mój problem obejmuje próbkę 4600 wektorów obserwacyjnych i 24 wymiary.

33 sampling covariance

5

Dlaczego w sondażach politycznych są tak duże próby?

Kiedy oglądam wiadomości, zauważyłem, że sondaże Gallupa dotyczące takich rzeczy, jak wybory prezydenckie, mają [zakładam losowe] próbki o wielkości znacznie przekraczającej 1000. Ze statystyk uczelni wyższych pamiętam, że próbka o wielkości 30 była próbką „znacznie większą”. Wydawało się, że wielkość próby powyżej 30 jest bezcelowa ze względu na malejące zwroty.

32 sampling sample-size power-analysis

5

Strategie uczenia rozkładu próbkowania

Wersja tl; dr Jakie skuteczne strategie stosujesz, aby nauczyć rozkład próbkowania (na przykład średniej próbki) na wstępnym poziomie licencjackim? Tło We wrześniu będę prowadził kurs wprowadzający dla studentów drugiego roku nauk społecznych (głównie nauk politycznych i socjologii) z wykorzystaniem Podstawowej praktyki statystycznej Davida Moore'a. Będzie to już piąty raz, kiedy …

30 distributions sampling teaching

3

R: Losowy las wyrzucający NaN / Inf w błędzie „wywołanie funkcji zagranicznej” pomimo braku NaN w zbiorze danych [zamknięte]

Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 2 lata temu . Używam karetki, aby uruchomić sprawdzony krzyżowo losowy las w zbiorze danych. Zmienna Y jest czynnikiem. W moim zestawie danych nie ma …

29 r random-forest caret regression prediction fitting social-science poisson-distribution distributions characteristic-function bayesian prior regression normal-distribution interaction nonparametric skewness svm standard-deviation standard-error regression-coefficients igraph natural-language word2vec word-embeddings regression machine-learning sampling r regression machine-learning random-forest ensemble sampling unbiased-estimator proof estimators mse probability conditional-probability bayes anova missing-data neural-networks recommender-system r confidence-interval sample multiple-imputation r time-series forecasting mase

7

Jak nazywa się błąd statystyczny, w którym wyniki poprzednich rzutów monetą wpływają na przekonania o kolejnych rzutach monetą?

Jak wszyscy wiemy, jeśli rzucisz monetą, która ma równe szanse na wylądowanie głów, podobnie jak reszka, to jeśli rzucisz monetą wiele razy, w połowie przypadków dostaniesz głowy, a w połowie reszka. Dyskutując o tym z przyjacielem, powiedzieli, że jeśli rzucisz monetą 1000 razy, i powiedzmy, że pierwsze 100 razy wylądował …

28 probability distributions sampling

3

Co jeśli twoja losowa próbka nie jest wyraźnie reprezentatywna?

Co się stanie, jeśli weźmiesz losową próbkę i zobaczysz, że nie jest ona reprezentatywna, jak w ostatnim pytaniu . Na przykład, co jeśli rozkład populacji ma być symetryczny wokół zera, a losowana próbka ma niezrównoważone obserwacje dodatnie i ujemne, a brak równowagi jest statystycznie znaczący, gdzie to Cię pozostawia? Jakie …

28 sampling experiment-design inference sample

3

Co oznaczają „niezależne obserwacje”?

Próbuję zrozumieć, co oznacza założenie niezależnych obserwacji . Niektóre definicje to: „Dwa zdarzenia są niezależne wtedy i tylko wtedy, gdy .” ( Słownik terminów statystycznych )P(a∩b)=P(a)∗P(b)P.(za∩b)=P.(za)∗P.(b)P(a \cap b) = P(a) * P(b) „wystąpienie jednego zdarzenia nie zmienia prawdopodobieństwa innego” ( Wikipedia ). „pobieranie próbek z jednej obserwacji nie wpływa na …

28 probability sampling multilevel-analysis independence assumptions

1

Obliczanie powtarzalności efektów z modelu Lmer

Właśnie natknąłem się na ten artykuł , który opisuje, jak obliczyć powtarzalność (aka niezawodność, aka korelacja wewnątrzklasowa) pomiaru za pomocą modelowania efektów mieszanych. Kod R byłby następujący: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability …

28 mixed-model reliability intraclass-correlation repeatability spss factor-analysis survey modeling cross-validation error curve-fitting mediation correlation clustering sampling machine-learning probability classification metric r project-management optimization svm python dataset quality-control checking clustering distributions anova factor-analysis exponential poisson-distribution generalized-linear-model deviance machine-learning k-nearest-neighbour r hypothesis-testing t-test r variance levenes-test bayesian software bayesian-network regression repeated-measures least-squares change-scores variance chi-squared variance nonlinear-regression regression-coefficients multiple-comparisons p-value r statistical-significance excel sampling sample r distributions interpretation goodness-of-fit normality-assumption probability self-study distributions references theory time-series clustering econometrics binomial hypothesis-testing variance t-test paired-comparisons statistical-significance ab-test r references hypothesis-testing t-test normality-assumption wilcoxon-mann-whitney central-limit-theorem t-test data-visualization interactive-visualization goodness-of-fit

1

Czy stopnie swobody mogą być liczbą niecałkowitą?

Kiedy korzystam z GAM, daje mi resztkowy DF (ostatni wiersz kodu). Co to znaczy? Wychodząc poza przykład GAM, ogólnie, czy liczba stopni swobody może być liczbą niecałkowitą?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 -1.6217 -0.8971 …

27 r degrees-of-freedom gam machine-learning pca lasso probability self-study bootstrap expected-value regression machine-learning linear-model probability simulation random-generation machine-learning distributions svm libsvm classification pca multivariate-analysis feature-selection archaeology r regression dataset simulation r regression time-series forecasting predictive-models r mean sem lavaan machine-learning regularization regression conv-neural-network convolution classification deep-learning conv-neural-network regression categorical-data econometrics r confirmatory-factor scale-invariance self-study unbiased-estimator mse regression residuals sampling random-variable sample probability random-variable convergence r survival weibull references autocorrelation hypothesis-testing distributions correlation regression statistical-significance regression-coefficients univariate categorical-data chi-squared regression machine-learning multiple-regression categorical-data linear-model pca factor-analysis factor-rotation classification scikit-learn logistic p-value regression panel-data multilevel-analysis variance bootstrap bias probability r distributions interquartile time-series hypothesis-testing normal-distribution normality-assumption kurtosis arima panel-data stata clustered-standard-errors machine-learning optimization lasso multivariate-analysis ancova machine-learning cross-validation

Pytania otagowane jako sampling