Założenia dotyczące regresji resztkowej regresji

12

Dlaczego konieczne jest założenie podziału na błędy, tj

$y_i = X\beta + \epsilon_{i}$ , z $\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2})$ .

Dlaczego nie napisać?

$y_i = X\beta + \epsilon_{i}$ , z $y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2})$ ,

gdzie w obu przypadkach $\epsilon_i = y_i - \hat{y}$ .
Podkreśliłem, że założenia dystrybucyjne dotyczą błędów, a nie danych, ale bez wyjaśnienia.

Naprawdę nie rozumiem różnicy między tymi dwoma sformułowaniami. W niektórych miejscach widzę, że na danych umieszczane są założenia dystrybucyjne (Bayesian, jak się wydaje, wydaje się to głównie), ale w większości przypadków założenia są oparte na błędach.

Dlaczego podczas modelowania / dlaczego ktoś powinien zacząć od założeń dotyczących jednego lub drugiego?

— bill_e
źródło

Po pierwsze, nie jest to „konieczne”, zależy od tego, co zamierzasz zrobić. Istnieje kilka dobrych odpowiedzi, ale myślę, że sednem jest podstawowe założenie przyczynowości, w sensie, że X „powodują” y, a jeśli spojrzysz na to w ten sposób, zobaczysz, że rozkład y jest „spowodowany” przez rozkład rh, to znaczy X i błędy (jeśli występują). Możesz wykonywać wiele ekonometrii przy bardzo ograniczonych założeniach dystrybucyjnych, a zwłaszcza bez normalności. Dzięki Bogu.

— PatrickT

3

\hat{y}

$\hat y$ nie jest , a średnia populacji nie jest taka sama jak szacunkowa próbka tego. To znaczy, że druga rzecz nie jest w rzeczywistości tym samym, co pierwsza, ale jeśli zastąpisz ją oczekiwaniami ( ), oba będą równoważne.

X β

$X\beta$

y

$y$

E (\hat{y}) = E (y) = X β

$E(\hat y) = E(y) = X\beta$

— Glen_b

Co to jest ? A jeśli zmienia się w , dlaczego zmienia? Zdecyduj, jakiej notacji chcesz użyć, wektora lub macierzy. Teraz, jeśli założymy, że twoja notacja jest czymś więcej niż bizzare: , tzn. definiujesz rozkład w kategoriach siebie i wszystkich innych obserwacji !

\hat{y}

$\hat{y}$

y_{i}

$y_i$

i

$i$

X β

$X\beta$

\hat{y} = X \hat{β}

$\hat{y}=X\hat\beta$

y_{i} \sim N (x_{i}^{'} (\sum x_{j} x_{j}^{'})^{- 1} \sum x_{j} y_{j}, σ^{2})

$y_i\sim N(x_i'(\sum x_jx_j')^{-1}\sum x_jy_j,\sigma^2)$

y_{i}

$y_i$

y_{j}

$y_j$

— mpiktas

1

Głosowałem za pytaniem, ponieważ myślę, że notacja jest myląca, a to już spowodowało kilka subtelnie sprzecznych odpowiedzi.

— mpiktas

9

W ustawieniach regresji liniowej często wykonuje się analizy i uzyskuje wyniki zależne od , tj. Zależne od „danych”. Potrzebne jest więc to, że jest normalny, to znaczy musi być normalny. Jak pokazuje przykład Petera Floma, można mieć normalność bez normalności , a zatem, ponieważ potrzebna jest normalność , jest to rozsądne założenie. $X$ $y\mid X$ $\epsilon$ $\epsilon$ $y$ $\epsilon$

— ekvall
źródło

9

Drugą definicję napisałbym jako

$y_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

lub (jak sugeruje Karl Oskar +1)

$y_i|X_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

tj. założeniem modelowania jest to, że zmienna odpowiedzi jest zwykle rozkładana wokół linii regresji (która jest oszacowaniem średniej warunkowej), ze stałą wariancją . To nie to samo, co sugerowanie, że są normalnie rozłożone, ponieważ średnia rozkładu zależy od . $\sigma^2$ $y_i$ $X_i$

Myślę, że widziałem podobne sformułowania w literaturze dotyczącej uczenia maszynowego; o ile widzę, jest to równoważne z pierwszą definicją, wszystko, co zrobiłem, to nieco inaczej wyrażać drugą formułę, aby wyeliminować i . $\epsilon_i$ $\hat{y}$

— Dikran Torbacz
źródło

3

Różnicę najłatwiej zilustrować przykładem. Oto prosty:

Załóżmy, że Y jest bimodalny, a modalność jest uwzględniana przez zmienną niezależną. Załóżmy na przykład, że Y jest wzrostem, a twoja próbka (z jakiegokolwiek powodu) składa się z dżokejów i koszykarzy. np. wR

set.seed(123)
tall <- rnorm(100, 78, 3)
short <- rnorm(100, 60, 3)

height <- c(tall, short)
sport <- c(rep("B", 100), rep("H",100))

plot(density(height))

m1 <- lm(height~sport)
plot(m1)

pierwsza gęstość jest bardzo nienormalna. Ale resztki z modelu są bardzo bliskie normalności.

Jeśli chodzi o to, dlaczego ograniczenia zostały umieszczone w ten sposób - pozwolę komuś innemu na to odpowiedzieć.

— Peter Flom - Przywróć Monikę
źródło

1

Dziękuję Ci! Rozumiem, co masz na myśli z rozkładem bimodalnym. Dalsze pytanie: co, jeśli wariancje danych są różne (heteroscedastyczność?) Powiedz… wszyscy dżokeje są mali, ale wysokość koszykarzy jest bardzo zróżnicowana. Może dla nich wysoki <- rnorm (100,78,10). W jaki sposób taka sytuacja zmienia twoje założenia dotyczące lub ?

y_{i}

$y_i$

ϵ_{i}

$\epsilon_i$

— bill_e

W takim przypadku heteroscedastyczność byłaby problemem i musiałbyś użyć innej formy regresji lub ewentualnie transformacji, lub możesz dodać inną zmienną (w tym głupim przykładzie może to zrobić pozycja grana w koszykówkę).

— Peter Flom - Przywróć Monikę

Nie jestem pewien, czy sformułowanie ma sugerować, że ys są normalnie rozmieszczone, tylko że mają normalny rozkład warunkowy.

— Dikran Torbacz

2

Musisz dodać suscripted i do drugiego sformułowania: ponieważ musi być w stanie zmieniać się wraz z .

y_{i} \sim N ({\hat{y}}_{i}, σ_{ε}^{2})

$y_i\sim\mathcal N(\hat y_i,\sigma^2_\varepsilon)$

\hat{y}

$\hat y$

x_{i}

$\bf x_i$

Jak już wspomniano, czym jest ? Jest to . Prowadzi to do sformułowania @DikranMarsupial przedstawia: Warto zauważyć, że jest to dokładnie to samo co twój pierwszy sformułowanie, ponieważ oba określają rozkład normalny, a oczekiwane wartości są równe. To znaczy: (I oczywiście wariancje są równe.) Innymi słowy, to jest $\hat y_i$ $\bf x_i\boldsymbol{\hat\beta}$

y_{i} \sim N (x_{i} \hat{β}, σ_{ε}^{2})

$y_i\sim\mathcal N({\bf x_i}\boldsymbol{\hat\beta},\sigma^2_\varepsilon)$

\begin{aligned} E [x_{i} \hat{β}] & = E [x_{i} \hat{β} + E [N (0, σ_{ε}^{2})]] \\ = E [x_{i} \hat{β} + 0] \\ = E [x_{i} \hat{β}] \end{aligned}

$\begin{align} E[{\bf x_i}\boldsymbol{\hat\beta}] &= E[{\bf x_i}\boldsymbol{\hat\beta} + E[\mathcal N(0, \sigma^2_\varepsilon)]] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta} + 0] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta}] \end{align}$ nie różnica w założeniach, ale po prostu różnica notacyjna.

Powstaje więc pytanie, czy istnieje powód, aby preferować prezentowanie pomysłu przy użyciu pierwszego sformułowania?

Myślę, że odpowiedź jest twierdząca z dwóch powodów:

Ludzie często mylą, czy surowe dane powinny być normalnie dystrybuowane (tj. ), czy też dane od / błędy powinny być normalnie dystrybuowane (tj. / ), na przykład patrz : Co jeśli resztki są normalnie rozłożone, ale nie jest? $Y$ $\bf X$ $Y|\bf X$ $\varepsilon$
Ludzie często mylą to, co powinno być niezależne, surowe dane lub błędy. Co więcej, często wspominamy o tym, że coś powinno być identyfikowane (niezależne i identycznie dystrybuowane); jeśli myślisz w kategoriach może to być inne potencjalne źródło zamieszania, ponieważ może być niezależny, ale nie może być identycznie rozłożony, chyba że utrzyma się hipoteza zerowa (ponieważ średnia byłaby różna). $Y|\bf X$ $Y|\bf X$

Uważam, że te konfuzje są bardziej prawdopodobne przy użyciu drugiego sformułowania niż pierwszego.

— gung - Przywróć Monikę
źródło

1

@Glen_b, nie śledzę twojego komentarza. Nie twierdzę, że jest równy , ale że jest równy . Indeksowaną indeksowania uwagi jest istotne. Chodzi o to, że przewidywana wartość dla danej obserwacji to . To nie ma nic do zrobienia w / średniej populacji . (Wygląda na to, że zapomniałem dodać czapki do moich bet, ale poprawiłem to teraz.)

\hat{y}

$\hat y$

X β

$X\beta$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

_{i}

$_i$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

Y

$Y$

— Gung - Przywróć Monikę

@Glen_b, gdyby to była próbka, oznacza, że będzie to zamiast . Początkowo uznałem też, że notacja jest myląca, ale fakt, że wynika z oświadczeń, że i . Aby oba te elementy były prawdziwe, może być tylko .

\bar{y}

$\bar{y}$

\hat{y}

$\hat{y}$

\hat{y} = X β

$\hat{y} = X\beta$

y_{i} = X β + ϵ_{i}

$y_i = X\beta + \epsilon_i$

ϵ_{i} = y_{i} - \hat{y}

$\epsilon_i = y_i - \hat{y}$

\hat{y}

$\hat{y}$

X β

$X\beta$

— Dikran Torbacz