Dlaczego nachylenie zawsze wynosi dokładnie 1 podczas regresji błędów reszt za pomocą OLS?

Eksperymentowałem z zależnością między błędami a resztkami, używając kilku prostych symulacji w R. Jedną z rzeczy, które znalazłem, jest to, że niezależnie od wielkości próbki lub wariancji błędu zawsze otrzymuję dokładnie dla nachylenia, gdy dopasujesz model$1$

$${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$$

Oto przeprowadzona przeze mnie symulacja:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

ei rsą wysoce (ale nie idealnie) skorelowane, nawet w przypadku małych próbek, ale nie mogę zrozumieć, dlaczego tak się dzieje automatycznie. Docenione byłoby matematyczne lub geometryczne wyjaśnienie.

odpowiedź Whubera jest świetna! (+1) Rozwiązałem problem przy użyciu najbardziej znanej mi notacji i doszedłem do wniosku, że (mniej interesujące, bardziej rutynowe) wyprowadzenie może być warte włączenia tutaj

Niech być modelu regresji dla X ∈ R n × p i ε hałasu. Następnie regresji Y z kolumny X ma normalne równania X T ( Y - X β ) = 0 , w wyniku czego otrzymano oszacowania$y = X \beta^* + \epsilon$$X \in \mathbb{R}^{n \times p}$$\epsilon$$y$$X$$X^T\left(y - X \hat\beta\right) = 0,$

$$\hat\beta = \left(X^T X \right)^{-1} X^T y.$$ Dlatego regresji ma pozostałości dla H = X ( X , T X ) - 1 x T . $$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$$ $H = X (X^T X)^{-1} X^T$

Cofnięcie na r daje oszacowane nachylenie podane przez ( r T r ) - 1 r T$\epsilon$$r$ ponieważI-Hjest symetryczny i idempotentny, aϵ∉im(X)prawie na pewno.

$$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$$ $I-H$$\epsilon \not\in \mathrm{im}(X)$

Ponadto ten argument obowiązuje również wtedy, gdy uwzględniamy przecięcie, gdy wykonujemy regresję błędów na resztach, jeśli przecięcie było uwzględnione w pierwotnej regresji, ponieważ zmienne towarzyszące są ortogonalne (tj. , z równań normalnych) .$1^T r = 0$

Bez utraty ogólności pojęciowej (lub praktycznej) najpierw usuń stałą ze zmiennych, jak opisano w Jak dokładnie jedna „kontroluje inne zmienne” . Niech będzie regresorem, e błąd, Y = β x + e odpowiedź, b szacunek najmniejszych kwadratów β , a r = Y - b x reszt. Wszystkie te wektory leżą na tej samej płaszczyźnie, co pozwala nam rysować ich obrazy. Sytuację można przedstawić w następujący sposób, gdzie O oznacza pochodzenie:$x$$e$$Y=\beta x + e$$b$$\beta$$r = Y - bx$$O$

$\beta x$$e$$Y$$bx$$Y-bx$$r$

$x$$OY$$(\beta x)Y$$r$$r$$Y$$r$$Y$$e$$r$$e$$r$$r$$r$$1$

---

$r$$e=r+(\beta-b)x$$Y=e+\beta x = r + (2\beta-b)x$$x$$x$$r$$r$$1$$x$$r$