Wykresy rezydualne: dlaczego wykres kontra wartości dopasowane, a nie obserwowane wartości ?

W kontekście regresji OLS rozumiem, że wykres resztkowy (w porównaniu z dopasowanymi wartościami) jest konwencjonalnie oglądany w celu przetestowania stałej wariancji i oceny specyfikacji modelu. Dlaczego reszty są wykreślane względem pasowań, a nie wartości ? Czym różnią się informacje od tych dwóch wykresów?$Y$

Pracuję nad modelem, który wytworzył następujące wykresy resztkowe:

Wykres w porównaniu z dopasowanymi wartościami wygląda dobrze na pierwszy rzut oka, ale drugi wykres względem wartości ma wzór. Zastanawiam się, dlaczego tak wyraźny wzór nie zamanifestuje się również w fabule szczątkowej vs.$Y$

Nie szukam pomocy w diagnozowaniu problemów z modelem, ale po prostu próbuję zrozumieć różnice (ogólnie) między (1) wykresem rezydualnym a dopasowanym i (2) wykresem rezydualnym a$Y$

Jeśli chodzi o wartość, jestem pewien, że wzorzec błędów na drugim wykresie wynika z pominiętych zmiennych wpływających na DV. Obecnie pracuję nad uzyskaniem tych danych, które, jak się spodziewam, pomogą w ogólnym dopasowaniu i specyfikacji. Pracuję z danymi nieruchomości: DV = Cena sprzedaży. IVs: Powierzchnia domu, # miejsca w garażu, rok budowy, rok budowy . $^2$

Konstruując, termin błędu w modelu OLS jest nieskorelowany z obserwowanymi wartościami współzmiennych X. Będzie to zawsze prawdziwe w odniesieniu do obserwowanych danych, nawet jeśli model generuje tendencyjne oszacowania, które nie odzwierciedlają prawdziwych wartości parametru, ponieważ założenie modelu jest naruszone (jak problem pominiętej zmiennej lub problem z odwrotną przyczynowością). Prognozowane wartości są całkowicie funkcją tych zmiennych towarzyszących, więc są one również nieskorelowane ze składnikiem błędu. Tak więc, kiedy rysujesz wartości resztkowe w stosunku do przewidywanych wartości, powinny one zawsze wyglądać losowo, ponieważ faktycznie nie są one skorelowane przez konstrukcję estymatora. W przeciwieństwie do tego, jest całkowicie możliwe (i rzeczywiście prawdopodobne), że warunek błędu modelu zostanie skorelowany z Y w praktyce. Na przykład, w przypadku dychotomicznej zmiennej X, dalsze prawdziwe Y pochodzi z jednego lub drugiegoE(Y | X = 1)lub E(Y | X = 0)im większa będzie resztkowa wartość. Oto ta sama intuicja z danymi symulowanymi w R, gdzie wiemy, że model jest bezstronny, ponieważ kontrolujemy proces generowania danych:

rm(list=ls())
set.seed(21391209)

trueSd <- 10
trueA <- 5
trueB <- as.matrix(c(3,5,-1,0))
sampleSize <- 100

# create independent x-values
x1 <- rnorm(n=sampleSize, mean = 0, sd = 4)
x2 <-  rnorm(n=sampleSize, mean = 5, sd = 10)
x3 <- 3 + x1 * 4 + x2 * 2 + rnorm(n=sampleSize, mean = 0, sd = 10)
x4 <- -50 + x1 * 7 + x2 * .5 + x3 * 2  + rnorm(n=sampleSize, mean = 0, sd = 20)
X = as.matrix(cbind(x1,x2,x3,x4))


# create dependent values according to a + bx + N(0,sd)
Y <-  trueA +  X %*%  trueB  +rnorm(n=sampleSize,mean=0,sd=trueSd)


df = as.data.frame(cbind(Y,X))
colnames(df) <- c("y", "x1", "x2", "x3", "x4")
ols = lm(y~x1+x2+x3+x4, data = df)
y_hat = predict(ols, df)
error = Y - y_hat
cor(y_hat, error) #Zero
cor(Y, error) #Not Zero

Otrzymujemy ten sam wynik zerowej korelacji z modelem tendencyjnym, na przykład, jeśli pominiemy x1.

ols2 = lm(y~x2+x3+x4, data = df)
y_hat2 = predict(ols2, df)
error2 = Y - y_hat2
cor(y_hat2, error2) #Still zero
cor(Y, error2) #Not Zero

Dwa fakty, które zakładam, że jesteś ze mną zadowolony, stwierdzając:

$y_i = \hat{y}_i+\hat{e}_i$

$\text{Cov}(\hat{y}_i,\hat{e}_i)=0$

Następnie:

$\text{Cov}(y_i,\hat{e}_i)=\text{Cov}(\hat{y}_i+\hat{e}_i,\hat{e}_i)$

$\qquad=\text{Cov}(\hat{y}_i,\hat{e}_i) +\text{Cov}(\hat{e}_i,\hat{e}_i)$

$\qquad=0 +\sigma^2_e$

$\qquad=\sigma^2_e$

Więc chociaż dopasowana wartość nie jest skorelowana z resztą, obserwacja jest .

W rzeczywistości dzieje się tak, ponieważ zarówno obserwacja, jak i pozostałość są powiązane z błędem.

Zwykle utrudnia to wykorzystanie wykresu resztkowego do celów diagnostycznych.