W prostej regresji liniowej, skąd bierze się wzór na wariancję reszt?

Zgodnie z tekstem, którego używam, wzór na wariancję reszty podaje: $i^{th}$

$\sigma^2\left ( 1-\frac{1}{n}-\frac{(x_{i}-\overline{x})^2}{S_{xx}} \right )$

I trudno w wierzyć od końcowa jest różnica pomiędzy obserwowanych wartości i wartość zmontowanym; jeśliby obliczyć wariancję różnicy, przynajmniej oczekiwałbym pewnych „plusów” w wynikowym wyrażeniu. Każda pomoc w zrozumieniu pochodnej będzie mile widziana. $i^{th}$ $i^{th}$ $i^{th}$

regression variance residuals

— Eric
źródło

Czy to możliwe, że niektóre znaki „ ” w tekście są źle renderowane (lub błędnie odczytywane) jako znaki „ ”?

+

$+$

-

$-$

— whuber

Tak myślałem, ale zdarzyło się to dwa razy w tekście (2 różne rozdziały), więc pomyślałem, że to mało prawdopodobne. Oczywiście pomocne byłoby wyprowadzenie wzoru! :)

— Eric

Negatywy są wynikiem dodatniej korelacji między obserwacją a jej dopasowaną wartością, co zmniejsza wariancję różnicy.

— Glen_b

@Glen Dziękujemy za wyjaśnienie, dlaczego okazuje się, że formuła ma sens, wraz z wyprowadzeniem macierzy poniżej.

— Eric

Intuicja na temat znaków „plus” związanych z wariancją (z faktu, że nawet gdy obliczamy wariancję różnicy niezależnych zmiennych losowych, dodajemy ich wariancje) jest poprawna, ale śmiertelnie niekompletna: jeśli zaangażowane zmienne losowe nie są niezależne , zaangażowane są również kowariancje - i kowariancje mogą być ujemne. Istnieje wyrażenie, które jest prawie podobne do wyrażenia w pytaniu, które uważano, że „powinno” być przez OP (i mnie), i jest to wariant błędu prognozowania , oznacz to , gdzie : $e^0 = y^0 - \hat y^0$ $y^0 = \beta_0+\beta_1x^0+u^0$

Var (e^{0}) = σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x^{0} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(e^0) = \sigma^2\cdot \left(1 + \frac 1n + \frac {(x^0-\bar x)^2}{S_{xx}}\right)$

Krytyczna różnica między wariancją błędu prognozowania a wariancją błędu oszacowania (tj. Resztkowego) polega na tym, że wartość błędu przewidywanej obserwacji nie jest skorelowana z estymatorem , ponieważ wartość nie została użyta w konstruowanie estymatora i obliczanie szacunków, będących wartością spoza próby. $y^0$

Algebra dla obu przebiega dokładnie w ten sam sposób do pewnego punktu (używając zamiast ), ale potem się rozbiera. Konkretnie: $^0$ $_i$

W prostej regresji liniowej , , wariancja estymatora jest nadal $y_i = \beta_0 + \beta_1x_i + u_i$ $\text{Var}(u_i)=\sigma^2$ $\hat \beta = (\hat \beta_0, \hat \beta_1)'$

Var (\hat{β}) = σ^{2} {(X^{'} X)}^{- 1}

$\text{Var}(\hat \beta) = \sigma^2 \left(\mathbf X' \mathbf X\right)^{-1}$

Mamy

X^{'} X = [\begin{matrix} n & \sum x_{i} \\ \sum x_{i} & \sum x_{i}^{2} \end{matrix}]

$\mathbf X' \mathbf X= \left[ \begin{matrix} n & \sum x_i\\ \sum x_i & \sum x_i^2 \end{matrix}\right]$

a więc

{(X^{'} X)}^{- 1} = [\begin{matrix} \sum x_{i}^{2} & - \sum x_{i} \\ - \sum x_{i} & n \end{matrix}] \cdot {[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}]}^{- 1}

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} \sum x_i^2 & -\sum x_i\\ -\sum x_i & n \end{matrix}\right]\cdot \left[n\sum x_i^2-\left(\sum x_i\right)^2\right]^{-1}$

Mamy

[n \sum x_{ja}^{2)} - {(\sum x_{ja})}^{2)}] = [n \sum x_{ja}^{2)} - n^{2)} {\bar{x}}^{2)}] = n [\sum x_{ja}^{2)} - n {\bar{x}}^{2)}] = n \sum (x_{ja}^{2)} - {\bar{x}}^{2)}) \equiv n {S.}_{x x}

$\left[n\sum x_i^2-\left(\sum x_i\right)^2\right] = \left[n\sum x_i^2-n^2\bar x^2\right] = n\left[\sum x_i^2-n\bar x^2\right] \\= n\sum (x_i^2-\bar x^2) \equiv nS_{xx}$

Więc

{(X^{'} X)}^{- 1} = [\begin{matrix} (1 / n) \sum x_{ja}^{2)} & - \bar{x} \\ - \bar{x} & 1 \end{matrix}] \cdot (1 / {S.}_{x x})

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} (1/n)\sum x_i^2 & -\bar x\\ -\bar x & 1 \end{matrix}\right]\cdot (1/S_{xx})$

co oznacza że

Var ({\hat{β}}_{0}) = σ^{2} (\frac{1}{n} \sum x_{i}^{2}) \cdot (1 / S_{x x}) = \frac{σ^{2}}{n} \frac{S_{x x} + n {\bar{x}}^{2}}{S_{x x}} = σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}})

$\text{Var}(\hat \beta_0) = \sigma^2\left(\frac 1n\sum x_i^2\right)\cdot \ (1/S_{xx}) = \frac {\sigma^2}{n}\frac{S_{xx}+n\bar x^2} {S_{xx}} = \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right)$

Var ({\hat{β}}_{1}) = σ^{2} (1 / S_{x x})

$\text{Var}(\hat \beta_1) = \sigma^2(1/S_{xx})$

Cov ({\hat{β}}_{0}, {\hat{β}}_{1}) = - σ^{2} (\bar{x} / S_{x x})

$\text{Cov}(\hat \beta_0,\hat \beta_1) = -\sigma^2(\bar x/S_{xx})$

-tym resztkową określa się jako $i$

{\hat{u}}_{i} = y_{i} - {\hat{y}}_{i} = (β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i} + u_{i}

$\hat u_i = y_i - \hat y_i = (\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i +u_i$

Rzeczywiste współczynniki są traktowane jako stałe The REGRESSOR jest przymocowany (lub uzależnione od tego) i ma zerową wartość kowariancji z terminu błędu, ale że estymatory są skorelowane ze składnika błędu, ponieważ estymatory zawierać zmienną zależną, a zmienna zależna zawiera termin błędu. Więc mamy

Var ({\hat{u}}_{i}) = [Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})] + 2) Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{ja}], u_{ja})

$\text{Var}(\hat u_i) = \Big[\text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)\Big] + 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

= [σ^{2)} + σ^{2)} (\frac{1}{n} + \frac{{\bar{x}}^{2)}}{{S.}_{x x}}) + x_{ja}^{2)} σ^{2)} (1 / {S.}_{x x}) + 2) Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{ja}], u_{ja})

$=\Big[\sigma^2 + \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right) + x_i^2\sigma^2(1/S_{xx}) +2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

Spakuj to trochę, aby uzyskać

Var ({\hat{u}}_{i}) = [σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i)=\left[\sigma^2\cdot \left(1 + \frac 1n + \frac {(x_i-\bar x)^2}{S_{xx}}\right)\right]+ 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

Termin w dużym nawiasie ma dokładnie taką samą strukturę z wariancją błędu prognozowania, z tą jedyną zmianą, że zamiast będziemy mieć (i wariancja będzie a nie ). Ostatni warunek kowariancji wynosi zero dla błędu prognozowania, ponieważ a zatem nie jest uwzględniony w estymatorach, ale nie zero dla błędu oszacowania, ponieważ a zatem jest częścią próbki, a zatem jest uwzględniony w taksator. Mamy $x_i$ $x^0$ $e^0$ $\hat u_i$ $y^0$ $u^0$ $y_i$ $u_i$

2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i}) = 2 E ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}] u_{i})

$2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i) = 2E\left([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i]u_i\right)$

= - 2 E ({\hat{β}}_{0} u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i}) = - 2 E ([\bar{y} - {\hat{β}}_{1} \bar{x}] u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i})

$=-2E\left(\hat \beta_0u_i\right)-2x_iE\left(\hat \beta_1u_i\right) = -2E\left([\bar y -\hat \beta_1 \bar x]u_i\right)-2x_iE\left(\hat \beta_1u_i\right)$

ostatnie podstawienie z obliczania . Kontynuując, $\hat \beta_0$

. . . = - 2 E (\bar{y} u_{i}) - 2 (x_{i} - \bar{x}) E ({\hat{β}}_{1} u_{i}) = - 2 \frac{σ^{2}}{n} - 2 (x_{i} - \bar{x}) E [\frac{\sum (x_{i} - \bar{x}) (y_{i} - \bar{y})}{S_{x x}} u_{i}]

$...=-2E(\bar yu_i) -2(x_i-\bar x)E\left(\hat \beta_1u_i\right) = -2\frac {\sigma^2}{n} -2(x_i-\bar x)E\left[\frac {\sum(x_i-\bar x)(y_i-\bar y)}{S_{xx}}u_i\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [\sum (x_{i} - \bar{x}) E (y_{i} u_{i} - \bar{y} u_{i})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ \sum(x_i-\bar x)E(y_iu_i-\bar yu_i)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum_{j \neq i} (x_{j} - \bar{x}) + (x_{i} - \bar{x}) σ^{2} (1 - \frac{1}{n})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum_{j\neq i}(x_j-\bar x) + (x_i-\bar x)\sigma^2(1-\frac 1n)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum (x_{i} - \bar{x}) + (x_{i} - \bar{x}) σ^{2}]

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum(x_i-\bar x) + (x_i-\bar x)\sigma^2\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [0 + (x_{i} - \bar{x}) σ^{2}] = - 2 \frac{σ^{2}}{n} - 2 σ^{2} \frac{(x_{i} - \bar{x})^{2}}{S_{x x}}

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ 0 + (x_i-\bar x)\sigma^2\right] = -2\frac {\sigma^2}{n}-2\sigma^2\frac {(x_i-\bar x)^2}{S_{xx}}$

Wstawiamy to do wyrażenia wariancji reszty, otrzymujemy

Var ({\hat{u}}_{i}) = σ^{2} \cdot (1 - \frac{1}{n} - \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(\hat u_i)=\sigma^2\cdot \left(1 - \frac 1n - \frac {(x_i-\bar x)^2}{S_{xx}}\right)$

Czapki z głów przed tekstem używanym przez OP.

(Pominąłem pewne manipulacje algebraiczne, nic dziwnego, że algebry OLS uczy się coraz mniej…)

NIEKTÓRE INTUICJE

Wydaje się więc, że to, co działa „przeciwko” nam (większa wariancja) podczas przewidywania, działa „dla nas” (mniejsza wariancja) podczas szacowania. Jest to dobry punkt wyjścia do zastanowienia się, dlaczego doskonałe dopasowanie może być złym znakiem dla zdolności prognozowania modelu (choć może to zabrzmieć intuicyjnie ...).
Fakt, że jest oszacowanie oczekiwaną wartość regressor, zmniejsza się zmienność przez . Dlaczego? ponieważ poprzez oszacowanie „zamykamy oczy” na pewną zmienność błędów występującą w próbie, ponieważ zasadniczo szacujemy wartość oczekiwaną. Ponadto, im większe jest odchylenie obserwacji regresora od średniej próbki regresora, $1/n$ wariancja reszty związana z tą obserwacją będzie ... im bardziej dewiacyjna obserwacja, tym mniej dewiacyjna jej reszta ... To zmienność regresorów, która działa dla nas, poprzez „zajęcie” nieznanego błędu - zmienność.

Ale to dobrze dla oceny . W przypadku przewidywania te same rzeczy zwracają się przeciwko nam: teraz, nie biorąc pod uwagę, jakkolwiek niedoskonale, zmienności (ponieważ chcemy to przewidzieć), nasze niedoskonałe estymatory uzyskane z próby pokazują ich słabości: oszacowaliśmy średnia próbka, nie znamy prawdziwej oczekiwanej wartości - wariancja rośnie. Mamy które jest daleko od średniej próbki obliczonej na podstawie innych obserwacji - źle, nasza wariancja błędu prognozy dostaje kolejne wzmocnienie, ponieważ przewidywany będzie miał tendencję do błądzenia ... więcej język naukowy "optymalne predyktory w sensie zmniejszonej wariancji błędu prognozy, reprezentują $y^0$ $x^0$ $\hat y^0$ skurczenie w kierunku średniej przewidywanej zmiennej ". Nie próbujemy powielać zmienności zmiennej zależnej - po prostu staramy się pozostać" blisko średniej ".

— Alecos Papadopoulos
źródło

Dziękuję za bardzo jasną odpowiedź! Cieszę się, że moja „intuicja” była poprawna.

— Eric

Alecos, naprawdę nie sądzę, żeby to było właściwe.

— Glen_b

@Alecos błąd polega na tym, że oszacowania parametrów są nieskorelowane z terminem błędu. Ta część: jest niewłaściwy.

Var ({\hat{u}}_{i}) = Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})

$\text{Var}(\hat u_i) = \text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)$

— Glen_b

@Eric Przepraszam, że wprowadziłem cię w błąd wcześniej. Starałem się zapewnić intuicję dla obu formuł.

— Alecos Papadopoulos,

+1 Możesz zobaczyć, dlaczego zrobiłem dla tego przypadku przypadek wielokrotnej regresji ... dzięki za włożenie dodatkowego wysiłku w wykonanie przypadku prostej regresji.

— Glen_b

Przepraszam za nieco zwięzłą odpowiedź, być może zbyt abstrakcyjną i pozbawioną pożądanej intuicyjnej prezentacji, ale postaram się wrócić i dodać kilka szczegółów później. Przynajmniej jest krótki.

Biorąc pod uwagę , $H=X(X^TX)^{-1}X^T$

\begin{array}{rcl} Var (y - \hat{y}) & = & Var ((ja - H.) y) \\ = & (ja - H.) Var (y) (ja - H.)^{T.} \\ = & σ^{2)} (ja - H.)^{2)} \\ = & σ^{2)} (ja - H.) \end{array}

$\begin{eqnarray} \text{Var}(y-\hat{y})&=&\text{Var}((I-H)y)\\ &=&(I-H)\text{Var}(y)(I-H)^T\\ &=&\sigma^2(I-H)^2\\ &=&\sigma^2(I-H) \end{eqnarray}$

Stąd

Var (y_{ja} - {\hat{y}}_{ja}) = σ^{2)} (1 - h_{ja ja})

$\text{Var}(y_i-\hat{y}_i)=\sigma^2(1-h_{ii})$

W przypadku prostej regresji liniowej ... daje to odpowiedź na twoje pytanie.

Ta odpowiedź ma również sens: ponieważ jest pozytywnie skorelowane z , wariancja różnicy powinna być mniejsza niż suma wariancji. $\hat{y}_i$ $y_i$

Edycja: wyjaśnienie, dlaczego jest idempotentny . $(I-H)$

(i) jest idempotentny: $H$

$H^2=X(X^TX)^{-1}X^TX(X^TX)^{-1}X^T$ $= X\ [(X^TX)^{-1}X^TX]\ (X^TX)^{-1}X^T=X(X^TX)^{-1}X^T=H$

(ii) $(I-H)^2= I^2-IH-HI+H^2=I-2H+H=I-H$

— Glen_b - Przywróć Monikę
źródło

Jest to bardzo ładne pochodne ze względu na swoją prostotę, chociaż dla mnie nie jest jasne, dlaczego . Być może, kiedy nieco rozszerzysz swoją odpowiedź, co i tak planujesz, możesz coś o tym powiedzieć?

(I - H)^{2} = (I - H)

$(I-H)^2=(I-H)$

— Jake Westfall,

@Jake Dodał kilka linii na końcu

— Glen_b