Statystyki i duże zbiory danych regression

4

Szybka regresja liniowa odporna na wartości odstające

Mam do czynienia z danymi liniowymi z wartościami odstającymi, z których niektóre są o 5 standardowych odchyleń od szacowanej linii regresji. Szukam techniki regresji liniowej, która zmniejsza wpływ tych punktów. Jak dotąd oszacowałem linię regresji ze wszystkimi danymi, a następnie odrzuciłem punkt danych z bardzo dużymi kwadratowymi resztkami (powiedzmy 10%) …

50 regression linear-model outliers robust fused-lasso

1

Kodowanie typu hot-man vs dummy w Scikit-learn

Istnieją dwa różne sposoby kodowania zmiennych jakościowych. Powiedzmy, że jedna zmienna kategorialna ma n wartości. Kodowanie na gorąco konwertuje go na n zmiennych, podczas gdy kodowanie zastępcze konwertuje go na zmienne n-1 . Jeśli mamy k zmiennych kategorialnych, z których każda ma n wartości. Jedno kodowanie na gorąco kończy się …

50 regression categorical-data data-transformation scikit-learn data-preprocessing

2

Czy istnieje różnica między „kontrolowaniem” i „ignorowaniem” innych zmiennych w regresji wielokrotnej?

Współczynnik zmiennej objaśniającej w regresji wielokrotnej mówi nam o związku tej zmiennej objaśniającej ze zmienną zależną. Wszystko to podczas „kontrolowania” pozostałych zmiennych objaśniających. Jak do tej pory go przeglądałem: Podczas obliczania każdego współczynnika inne zmienne nie są brane pod uwagę, więc uważam je za ignorowane. Czy mam zatem rację, gdy …

50 regression multiple-regression

4

Dlaczego ANOVA jest równoważna regresji liniowej?

Czytałem, że ANOVA i regresja liniowa są tym samym. Jak to możliwe, biorąc pod uwagę, że wynikiem ANOVA jest pewna wartość i pewna wartość p, na podstawie których wnioskujesz, czy próbka oznacza, że różne próbki są takie same lub różne.faFFppp Ale zakładając, że średnie nie są równe (odrzuć hipotezę zerową), …

50 regression anova

4

W jaki sposób regresja, test t i ANOVA są wszystkimi wersjami ogólnego modelu liniowego?

Jak wyglądają wszystkie wersje tej samej podstawowej metody statystycznej?

49 regression self-study anova generalized-linear-model t-test

7

Wpływ odpowiedzi przełączającej i zmiennej objaśniającej w prostej regresji liniowej

Załóżmy, że istnieje pewien „prawdziwy” związek między i , tak że , gdzie i są stałymi, a jest IID normalnego hałasu. Kiedy losowo generować dane z tego kodu R: a następnie dopasować model podobnego , ja oczywiście się rozsądnie dobre prognozy dla i .yyyxxxy=ax+b+ϵy=ax+b+ϵy = ax + b + \epsilonaaabbbϵϵ\epsilonx …

48 regression

7

Od czego zacząć od statystyk dla doświadczonego programisty

W pierwszej połowie 2015 r. Ukończyłem kurs Machine Learning (autor: Andrew Ng, WIELKI kurs). I nauczył się podstaw uczenia maszynowego (regresja liniowa, regresja logistyczna, SVM, sieci neuronowe ...) Jestem również programistą od 10 lat, więc nauka nowego języka programowania nie byłaby problemem. Ostatnio zacząłem uczyć się języka R w celu …

47 r regression machine-learning references

11

Czy można wykonać prostą regresję liniową bez użycia wykresów i algebry liniowej?

Jestem całkowicie ślepy i pochodzę z programowania. Próbuję nauczyć się uczenia maszynowego i aby to zrobić, najpierw muszę się dowiedzieć o regresji liniowej. Wszystkie wyjaśnienia w Internecie, które znajduję na ten temat, najpierw rysują dane. Szukam praktycznego wyjaśnienia regresji liniowej, która nie zależy od wykresów i wykresów. Oto moje rozumienie …

47 regression intuition

2

Czy splajny nie pasują do danych?

Mój problem : Niedawno spotkałem statystykę, który poinformował mnie, że splajny są przydatne tylko do eksploracji danych i podlegają nadmiernemu dopasowaniu, a zatem nie są przydatne w przewidywaniu. Wolał odkrywać za pomocą prostych wielomianów ... Ponieważ jestem wielkim fanem splajnów, a to wbrew mojej intuicji, jestem zainteresowany ustaleniem, jak ważne …

47 regression splines

5

Jeśli test t i ANOVA dla dwóch grup są równoważne, dlaczego ich założenia nie są równoważne?

Jestem pewien, że mam to całkowicie owinięte wokół głowy, ale nie mogę tego rozgryźć. Test t porównuje dwa rozkłady normalne przy użyciu rozkładu Z. Dlatego w DANYCH założono normalność. ANOVA jest równoważna regresji liniowej ze zmiennymi fikcyjnymi i wykorzystuje sumy kwadratów, podobnie jak OLS. Dlatego istnieje założenie o normalności RESIDUALS. …

47 distributions regression normality-assumption t-test anova

5

Zrozumienie regresji - rola modelu

W jaki sposób może posłużyć model regresji, jeśli nie znasz funkcji, dla której próbujesz uzyskać parametry? Widziałem badanie, w którym stwierdzono, że matki karmiące piersią rzadziej chorują na cukrzycę w późniejszym życiu. Badanie pochodziło z badania około 1000 matek i było kontrolowane pod kątem różnych czynników i zastosowano model logiczny. …

46 regression modeling epidemiology log-linear

4

Co to jest matryca kontrastowa?

Czym dokładnie jest matryca kontrastu (termin odnoszący się do analizy z predyktorami jakościowymi) i jak dokładnie określono matrycę kontrastu? Tzn. Czym są kolumny, czym są wiersze, jakie są ograniczenia na tej macierzy i co oznacza liczba w kolumnie ji rzędzie i? Próbowałem przeglądać dokumenty i sieć, ale wygląda na to, …

46 regression categorical-data definition contrasts categorical-encoding

6

Intuicyjne wyjaśnienie kompromisu wariancji uprzedzeń?

Szukam intuicyjnego wyjaśnienia kompromisu wariancji odchylenia, zarówno ogólnie, jak i konkretnie w kontekście regresji liniowej.

46 regression variance bias

3

Interpretacja predyktora i / lub odpowiedzi transformowanej logarytmicznie

Zastanawiam się, czy ma to znaczenie w interpretacji, czy transformowane są tylko zmienne zależne, zależne i niezależne, czy tylko zmienne niezależne. Rozważ przypadek log(DV) = Intercept + B1*IV + Error Mogę interpretować IV jako wzrost procentowy, ale jak to się zmienia, kiedy mam log(DV) = Intercept + B1*log(IV) + Error …

46 regression data-transformation interpretation regression-coefficients logarithm r dataset stata hypothesis-testing contingency-tables hypothesis-testing statistical-significance standard-deviation unbiased-estimator t-distribution r functional-data-analysis maximum-likelihood bootstrap regression change-point regression sas hypothesis-testing bayesian randomness predictive-models nonparametric terminology parametric correlation effect-size loess mean pdf quantile-function bioinformatics regression terminology r-squared pdf maximum multivariate-analysis references data-visualization r pca r mixed-model lme4-nlme distributions probability bayesian prior anova chi-squared binomial generalized-linear-model anova repeated-measures t-test post-hoc clustering variance probability hypothesis-testing references binomial profile-likelihood self-study excel data-transformation skewness distributions statistical-significance econometrics spatial r regression anova spss linear-model

3

Skąd bierze się błędne przekonanie, że Y musi być normalnie dystrybuowane?

Pozornie renomowane źródła twierdzą, że zmienna zależna musi być normalnie dystrybuowana: Założenia modelu: YYY jest normalnie rozłożone, błędy są normalnie rozłożone, ei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2) i niezależne, a XXX jest stały, a stała wariancja σ2σ2\sigma^2 . Penn State, STAT 504 Analiza danych dyskretnych Po drugie, analiza regresji liniowej wymaga, aby wszystkie …

45 regression least-squares linear-model dependent-variable

Pytania otagowane jako regression