Dlaczego regresja liniowa ma założenie dotyczące resztkowego, ale uogólnionego modelu liniowego ma założenia dotyczące reakcji?

14

Dlaczego regresja liniowa i model uogólniony mają niespójne założenia?

W regresji liniowej zakładamy, że reszta pochodzi z gaussowskiego
W innych regresjach (regresja logistyczna, regresja trucizny) zakładamy, że odpowiedź pochodzi z pewnego rozkładu (dwumianowy, pozycyjny itp.).

Dlaczego czasami zakładamy, że pozostały czas, a innym czas na odpowiedź? Czy dlatego, że chcemy uzyskać różne właściwości?

EDYCJA: Myślę, że mark999 pokazuje, że dwie formy są równe. Mam jednak dodatkowe wątpliwości dotyczące iid:

Moje inne pytanie: czy istnieje założenie dotyczące regresji logistycznej? pokazuje, że uogólniony model liniowy nie ma założenia iid (niezależny, ale nie identyczny)

Czy to prawda, że w przypadku regresji liniowej, jeśli założymy założenie resztkowe , będziemy mieć iid, ale jeśli postawimy założenie na podstawie $\mu$

— Haitao Du
źródło

Zobacz także stats.stackexchange.com/questions/295340/…

— kjetil b halvorsen

12

Prosta regresja liniowa z błędami Gaussa jest bardzo ładnym atrybutem, który nie uogólnia na uogólnione modele liniowe.

W uogólnionych modelach liniowych odpowiedź odpowiada pewnemu zadanemu rozkładowi, biorąc pod uwagę średnią . Regresja liniowa przebiega według tego wzoru; Jeśli mamy

$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$

$\epsilon_i \sim N(0, \sigma)$

wtedy też mamy

$y_i \sim N(\beta_0 + \beta_1 x_i, \sigma)$

$\epsilon_i$ $x$

$y_i$

$y_i = 0 + 2 \times x_i + \epsilon_i$

$\epsilon_i \sim N(0, 0.2)$ $x_i \sim \text{Bernoulli}(p = 0.5)$

$y_i$

Oto Rkod do zilustrowania.

x <- rbinom(1000, size = 1, prob = 0.5)
y <- 2 * x + rnorm(1000, sd = 0.2)
fit <- lm(y ~ x)
resids <- residuals(fit)
par(mfrow = c(1,2))
hist(y, main = 'Distribution of Responses')
hist(resids, main = 'Distribution of Residuals')

— Cliff AB
źródło

y_{i} = 1 + 2 \times x_{i} + ϵ_{i}

$y_i = 1 + 2 \times x_i + \epsilon_i$

3

@ hxd1011: tak, jest to różnica między rozkładem krańcowym (wyraźnie nie normalnym) a rozkładem warunkowym, biorąc pod uwagę x (wiemy, że jest to normalne, ponieważ go zasymulowaliśmy!). Niezbyt częstym błędem jest brak myślenia o różnicy między rozkładami warunkowymi a krańcowymi.

— Cliff AB

14

$i = 1, \ldots, n$

Y_{i} = β_{0} + β_{1} X_{i 1} + \dots + β_{k} X_{i k} + ϵ_{i},

$Y_i = \beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik} + \epsilon_i,$

ϵ_{i}

$\epsilon_i$

σ^{2}

$\sigma^2$

X_{i 1}, \dots, X_{i k}

$X_{i1}, \ldots, X_{ik}$

Y_{i}

$Y_i$

β_{0} + β_{1} X_{i 1} + \dots + β_{k} X_{i k}

$\beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik}$

σ^{2}

$\sigma^2$ .

Jest tak, ponieważ uzależnienie $X_{i1}, \ldots, X_{ik}$ , traktujemy $\beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik}$ jako stały.

Zwykłym modelem wielokrotnej regresji liniowej z błędami normalnymi jest uogólniony model liniowy z normalną odpowiedzią i łączem tożsamości.

— mark999
źródło