Statystyki i duże zbiory danych

2

Nazwa „paradoksu” zgłoszonego przez Gelmana

W książce Andrew Gelmana „Red State, Blue State” analizuje fakt, że bogaci ludzie w poszczególnych stanach mają tendencję do głosowania bardziej republikańscy niż biedni, ale zamożne państwa głosują bardziej demokratycznie niż biedne. Czy istnieje nazwa tego paradoksu? Wydaje mi się, że jest związany, ale nie identyczny, z paradoksem ekologicznym.

12 paradox

2

Kiedy dane mają rozkład gaussowski, ile próbek je scharakteryzuje?

Dane gaussowskie rozmieszczone w jednym wymiarze wymagają dwóch parametrów do jego scharakteryzowania (średnia, wariancja), a plotka głosi, że około 30 losowo wybranych próbek jest zwykle wystarczających do oszacowania tych parametrów z dość dużą pewnością. Ale co się stanie, gdy liczba wymiarów wzrośnie? W dwóch wymiarach (np. Wysokość, waga) potrzeba 5 …

12 normal-distribution multivariate-analysis

3

Wariancja iloczynu skorelowanych zmiennych losowych k

Jaka jest wariancja iloczynu skorelowanych zmiennych losowych ?kkk

12 variance random-variable

2

Jak przetestować nadmierną dyspersję w Poisson GLMM z lmer () w R?

Mam następujący model: > model1<-lmer(aph.remain~sMFS1+sAG1+sSHDI1+sbare+season+crop +(1|landscape),family=poisson) ... a to jest podsumowanie. > summary(model1) Generalized linear mixed model fit by the Laplace approximation Formula: aph.remain ~ sMFS1 + sAG1 + sSHDI1 + sbare + season + crop + (1 | landscape) AIC BIC logLik deviance 4057 4088 -2019 4039 Random effects: …

12 r poisson-distribution lme4-nlme glmm overdispersion

2

Jaki jest oczekiwany rozkład reszt w uogólnionym modelu liniowym?

Wykonuję uogólniony model liniowy, w którym muszę określić rodzinę inną niż normalna. Jaki jest oczekiwany rozkład reszt? Na przykład, czy reszty powinny być rozkładane normalnie?

12 generalized-linear-model residuals normality-assumption

3

Naiwne cechy Bayesa mają prawdopodobieństwo: czy powinienem podwójnie liczyć słowa?

Prototypuję własny model słów Naive Bayes i miałem pytanie dotyczące obliczania prawdopodobieństw cech. Powiedzmy, że mam dwie klasy, po prostu używam spamu i nie-spamu, ponieważ wszyscy tego używają. Weźmy jako przykład słowo „viagra”. W moim zestawie szkoleniowym jest 10 e-maili, 5 spamu i 5 spamu. „viagra” pojawia się we wszystkich …

12 classification conditional-probability naive-bayes

2

Stosunek sumy Normalnej do sumy kostek Normalnej

Proszę o pomoc w znalezieniu rozkładu granicznego (jako n→∞n→∞n \rightarrow \infty ): Un=X1+X2+…+XnX31+X32+…X3n,Un=X1+X2)+…+XnX13)+X2)3)+…Xn3), U_n = \frac{X_1 + X_2 + \ldots + X_n}{X_1^3 + X_2^3 + \ldots X_n^3},gdzieXiXjaX_ioznaczająN(0,1)N.(0,1)N(0,1).

12 distributions normal-distribution asymptotics

5

Pakiety wyboru funkcji w R, które wykonują zarówno regresję, jak i klasyfikację

Zablokowana . To pytanie i odpowiedzi są zablokowane, ponieważ pytanie jest nie na temat, ale ma znaczenie historyczne. Obecnie nie akceptuje nowych odpowiedzi ani interakcji. Jestem bardzo nowy w R. Teraz uczę się uczenia maszynowego. Bardzo przepraszam, jeśli to pytanie wydaje się bardzo proste. Próbuję znaleźć dobry pakiet wyboru funkcji …

12 r feature-selection

3

Czy procedura stałych efektów Mundlak ma zastosowanie do regresji logistycznej z manekinami?

Mam zestaw danych z 8000 klastrami i 4 milionami obserwacji. Niestety moje oprogramowanie statystyczne, Stata, działa dość wolno, gdy używa swojej funkcji danych panelowych do regresji logistycznej: xtlogitnawet z podpróbką 10%. Jednak w przypadku korzystania z logitfunkcji niepanelowej wyniki pojawiają się znacznie wcześniej. Dlatego mogę korzystać ze logitzmodyfikowanych danych uwzględniających …

12 logistic categorical-data stata fixed-effects-model

2

Różnica w raportowanych wartościach p między lm i aov w R

Co wyjaśnia różnice w wartościach p poniżej aovi lmwywołań? Czy różnica wynika tylko z różnych rodzajów obliczeń sum kwadratów? set.seed(10) data=rnorm(12) f1=rep(c(1,2),6) f2=c(rep(1,6),rep(2,6)) summary(aov(data~f1*f2)) summary(lm(data~f1*f2))$coeff

12 r regression anova linear-model sums-of-squares

5

Czy magia liczby 20?

Mam referencje, które zalecały rozważenie wielkości próby wynoszącej co najmniej 20 dla dystrybucji dopasowania danych. Czy ma to jakiś sens? dzięki

12 sample-size

3

Prognozowanie danych zliczania w losowym lesie

Czy można wyszkolić losowy las, aby odpowiednio przewidywał dane zliczania? Jak by to przebiegło? Mam dość szeroki zakres wartości, więc klasyfikacja naprawdę nie ma sensu. Gdybym użył regresji, czy po prostu obciąłbym wyniki? Jestem tu całkiem zagubiony. Jakieś pomysły?

12 r regression random-forest prediction count-data

2

Wykres QQ nie pasuje do histogramu

Mam histogram, gęstość jądra i dopasowany normalny rozkład zwrotów z dziennika finansowego, które są przekształcane w straty (znaki są zmieniane), i normalny wykres QQ tych danych: Wykres QQ pokazuje wyraźnie, że ogony nie są prawidłowo dopasowane. Ale jeśli spojrzę na histogram i dopasowany rozkład normalny (niebieski), nawet wartości około 0,0 …

12 data-visualization normality-assumption histogram qq-plot

3

Krzywa ROC przekraczająca przekątną

W tej chwili prowadzę klasyfikator binarny. Kiedy wykreślam krzywą ROC, na początku uzyskuję dobry skok, a następnie zmienia ona kierunek i przecina przekątną, a następnie oczywiście z powrotem w górę, tworząc krzywą w kształcie litery S. Jaka może być interpretacja / wyjaśnienie tego efektu? Dzięki

12 roc

1

Uzgadnianie notacji dla modeli mieszanych

Znam notacje takie jak: yij=β0+βixij+uj+eij=β0j+βixij+eijyij=β0+βixij+uj+eij=β0j+βixij+eij\begin{align} y_{ij} &= \beta_0 + \beta_i x_{ij} + u_j + e_{ij}\\ &= \beta_{0j} + \beta_i x_{ij} + e_{ij} \end{align} gdzie iβ0j=β0+ujβ0j=β0+uj\beta_{0j}=\beta_{0}+u_j yij=β0+β1xij+u0j+u1jxij+eij=β0j+β1jxij+eijyij=β0+β1xij+u0j+u1jxij+eij=β0j+β1jxij+eij\begin{align} y_{ij} &= \beta_0 + \beta_1 x_{ij} + u_{0j} + u_{1j} x_{ij} + e_{ij} \\ &= \beta_{0j} + \beta_{1j} x_{ij} + e_{ij} \end{align} gdzie iβ0j=β0+u0jβ0j=β0+u0j\beta_{0j}=\beta_{0}+u_{0j}β1j=β1+u1jβ1j=β1+u1j\beta_{1j}=\beta_1+u_{1j} …

12 mixed-model mathematical-statistics