Statystyki i duże zbiory danych residuals

2

To pytanie wynika z mojego faktycznego zamieszania dotyczącego tego, jak zdecydować, czy model logistyczny jest wystarczająco dobry. Mam modele, które wykorzystują stan par projekt indywidualny dwa lata po ich uformowaniu jako zmienna zależna. Wynik jest udany (1) lub nie (0). Mam zmienne niezależne mierzone w czasie tworzenia par. Moim celem …

13 r logistic goodness-of-fit residuals

2

Rodzina GLM reprezentuje rozkład zmiennej odpowiedzi lub reszt?

Dyskutowałem na ten temat z kilkoma członkami laboratorium i poszliśmy do kilku źródeł, ale wciąż nie do końca mamy odpowiedź: Kiedy mówimy, że GLM ma rodzinę Poissona , powiedzmy, czy mówimy o rozkładzie reszt lub zmiennej odpowiedzi? Punkty sporne Czytając ten artykuł, stwierdza się, że założenia GLM to: statystyczna niezależność …

13 generalized-linear-model residuals assumptions

1

Pakiet GBM vs. Caret korzystający z GBM

Stroiłem model przy użyciu caret, ale potem ponownie uruchomiłem model przy użyciu gbmpakietu. Rozumiem, że caretpakiet używa gbmi wynik powinien być taki sam. Jednak tylko szybki test przy użyciu data(iris)wykazuje rozbieżność w modelu około 5% przy użyciu RMSE i R ^ 2 jako metryki oceny. Chcę znaleźć optymalną wydajność modelu …

13 r caret gbm matrix linear-algebra logistic modeling logit ordered-logit r confidence-interval survival population weibull classification separation hypothesis-testing correlation statistical-significance p-value python r data-visualization r regression multiple-regression chi-squared multivariate-analysis distributions random-variable experiment-design distributions poisson-regression residuals excel time-series garch var survival modeling cox-model interaction r pca normality-assumption

3

Resztkowa autokorelacja vs. opóźniona zmienna zależna

Podczas modelowania szeregów czasowych można (1) modelować strukturę korelacyjną terminów błędów, ponieważ np. Proces AR (1) (2) obejmuje zmienną zależną opóźnioną jako zmienną objaśniającą (po prawej stronie) Rozumiem, że są to czasem istotne powody, dla których warto (2). Jakie są jednak metodologiczne powody, aby zrobić (1) lub (2), a nawet …

13 time-series autocorrelation residuals lags

2

Czy normalnie rozłożone X i Y częściej powodują powstanie resztek normalnie rozłożonych?

W tym miejscu omawiana jest błędna interpretacja założenia normalności w regresji liniowej (że „normalność” odnosi się do X i / lub Y zamiast do reszt), a plakat pyta, czy możliwe jest uzyskanie nietypowo rozłożonych X i Y i nadal mają normalnie rozłożone resztki. Moje pytanie brzmi: czy zwykle rozkład X …

12 regression normal-distribution data-transformation residuals assumptions

5

Jak wykonać przypisanie wartości w bardzo dużej liczbie punktów danych?

Mam bardzo duży zestaw danych i brakuje około 5% wartości losowych. Te zmienne są ze sobą skorelowane. Poniższy przykładowy zestaw danych R jest tylko zabawkowym przykładem z fałszywymi skorelowanymi danymi. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", …

12 r random-forest missing-data data-imputation multiple-imputation large-data definition moving-window self-study categorical-data econometrics standard-error regression-coefficients normal-distribution pdf lognormal regression python scikit-learn interpolation r self-study poisson-distribution chi-squared matlab matrix r modeling multinomial mlogit choice monte-carlo indicator-function r aic garch likelihood r regression repeated-measures simulation multilevel-analysis chi-squared expected-value multinomial yates-correction classification regression self-study repeated-measures references residuals confidence-interval bootstrap normality-assumption resampling entropy cauchy clustering k-means r clustering categorical-data continuous-data r hypothesis-testing nonparametric probability bayesian pdf distributions exponential repeated-measures random-effects-model non-independent regression error regression-to-the-mean correlation group-differences post-hoc neural-networks r time-series t-test p-value normalization probability moments mgf time-series model seasonality r anova generalized-linear-model proportion percentage nonparametric ranks weighted-regression variogram classification neural-networks fuzzy variance dimensionality-reduction confidence-interval proportion z-test r self-study pdf

4

Założenia dotyczące regresji resztkowej regresji

Dlaczego konieczne jest założenie podziału na błędy, tj yi=Xβ+ϵiyi=Xβ+ϵiy_i = X\beta + \epsilon_{i} , z ϵi∼N(0,σ2)ϵi∼N(0,σ2)\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2}) . Dlaczego nie napisać? yi=Xβ+ϵiyi=Xβ+ϵiy_i = X\beta + \epsilon_{i} , z yi∼N(Xβ^,σ2)yi∼N(Xβ^,σ2)y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2}) , gdzie w obu przypadkach ϵi=yi−y^ϵi=yi−y^\epsilon_i = y_i - \hat{y} . Podkreśliłem, że założenia dystrybucyjne dotyczą błędów, a …

12 regression normal-distribution residuals assumptions notation

2

Dlaczego niektórzy ludzie testują założenia modelu przypominającego regresję na swoich surowych danych, a inni testują je na poziomie resztkowym?

Jestem doktorantem z psychologii eksperymentalnej i staram się doskonalić swoje umiejętności i wiedzę na temat analizy moich danych. Do piątego roku studiów w psychologii myślałem, że modele podobne do regresji (np. ANOVA) zakładają następujące rzeczy: normalność danych jednorodność wariancji danych i tak dalej Moje studia licencjackie doprowadziły mnie do przekonania, …

12 regression dataset residuals assumptions

2

Jaki jest oczekiwany rozkład reszt w uogólnionym modelu liniowym?

Wykonuję uogólniony model liniowy, w którym muszę określić rodzinę inną niż normalna. Jaki jest oczekiwany rozkład reszt? Na przykład, czy reszty powinny być rozkładane normalnie?

12 generalized-linear-model residuals normality-assumption

2

Analiza resztkowa regresji logistycznej

To pytanie jest dość ogólne i wyczerpujące, ale proszę o wyrozumiałość. W mojej aplikacji mam wiele zestawów danych, z których każdy składa się z ~ 20 000 punktów danych z ~ 50 funkcjami i jedną zależną zmienną binarną. Usiłuję modelować zestawy danych przy użyciu regularnej regresji logistycznej (pakiet R glmnet …

12 logistic residuals

1

Dokładny test Fishera i rozkład hipergeometryczny

Chciałem lepiej zrozumieć dokładny test Fishera, więc wymyśliłem następujący przykład zabawki, w którym f i m odpowiada płci męskiej i żeńskiej, a n i y odpowiada takiemu „zużyciu sody”: > soda_gender f m n 0 5 y 5 0 Oczywiście jest to drastyczne uproszczenie, ale nie chciałem, aby kontekst przeszkadzał. …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

1

Dlaczego diagnostyka opiera się na pozostałościach?

W prostej regresji liniowej często chce się sprawdzić, czy spełnione są pewne założenia, aby móc wnioskować (np. Reszty są zwykle rozkładane). Czy uzasadnione jest sprawdzenie założeń poprzez sprawdzenie, czy dopasowane wartości są zwykle rozkładane?

12 regression residuals diagnostic

2

Heteroskedastyczność i normalność reszt

Mam regresję liniową, która, jak sądzę, jest całkiem dobra (dotyczy projektu uniwersyteckiego, więc tak naprawdę nie muszę być bardzo dokładna). Chodzi o to, że jeśli wykreślę wartości rezydualne w stosunku do wartości przewidywanych, to (według mojego nauczyciela) jest wskazówka heteroskedastyczności. Ale jeśli wykreślę wykres QQ reszt, jasne jest, że są …

12 regression normal-distribution residuals heteroscedasticity

2

Jak stwierdzić, czy reszty są autokorelowane z grafiką

Kiedy wykonujesz regresję OLS i wykreślasz wynikowe reszty, w jaki sposób możesz stwierdzić, czy reszty są autokorelowane? Wiem, że istnieją na to testy (Durbin, Breusch-Godfrey), ale zastanawiałem się, czy możesz po prostu spojrzeć na wykres, aby ocenić, czy autokorelacja może stanowić problem (ponieważ dla heteroskedastyczności jest to dość łatwe).

12 regression autocorrelation residuals

2

Dopasowanie wielokrotnej regresji liniowej w R: reszty autokorelowane

Próbuję oszacować wielokrotną regresję liniową w R za pomocą następującego równania: regr <- lm(rate ~ constant + askings + questions + 0) pytania i pytania są kwartalnymi szeregami czasowymi danych, zbudowanymi z askings <- ts(...). Problem polega na tym, że otrzymałem resztki autokorelowane. Wiem, że można dopasować regresję za pomocą …

11 r time-series multiple-regression autocorrelation residuals

Pytania otagowane jako residuals