Dlaczego suma kwadratów reszt nie rośnie podczas dodawania zmiennej objaśniającej?

9

W moim podręczniku ekonometrycznym (wprowadzającym ekonometrii) dotyczącym OLS autor pisze: „SSR musi upaść, gdy zostanie dodana inna zmienna objaśniająca”. Dlaczego tak jest

— Eric Xu
źródło

1

W istocie, ponieważ jeśli nie ma liniowego związku z następną zmienną, cokolwiek (częściowa korelacja próbki 0), SSR pozostanie taki sam. Jeśli w ogóle istnieje jakikolwiek związek, następnej zmiennej można użyć do zmniejszenia SSR.

— Glen_b

3

Oświadczenie jest poprawne w duchu, ale nie do końca prawdziwe: SSR pozostanie taki sam (i nie spadnie) po dodaniu dowolnej zmiennej, która jest liniową kombinacją istniejących zmiennych. W końcu, ignorując nową zmienną, możesz osiągnąć taką samą minimalną wartość SSR, jak w przypadku starej zmiennej, więc dodanie nowej zmiennej nigdy nie pogorszy sytuacji.

— whuber

Odpowiedziałem na podobne pytanie tutaj: stats.stackexchange.com/questions/306267/… . Może ci się przydać.

— Josh

18

Zakładając, że masz model regresji liniowej, dla łatwej notacji rozważ najpierw jedną, a następnie dwie zmienne zmienne. Uogólnia to na dwa zestawy zmiennych zmiennych. Pierwszy model to

ja : y_{ja} = β_{0} + β_{1} x_{1 ja} + ϵ_{ja}

$I \colon y_i=\beta_0 + \beta_1 x_{1i}+\epsilon_{i}$ drugi model to

ja ja : y_{ja} = β_{0} + β_{1} x_{1 ja} + β_{2)} x_{2) ja} + ϵ_{ja}

$II \colon y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$ Rozwiązuje się to poprzez minimalizację sumy kwadratów reszt, dla modelu pierwszego, który chcemy zminimalizować

{SSR}_{1} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i})^{2}

$\text{SSR}_1 = \sum_i (y_i-\beta_0-\beta_1 x_{1i})^2$ a dla modelu drugiego chcesz zminimalizować

{SSR}_{2} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i} - β_{2} x_{2 i})^{2}

$\text{SSR}_2 = \sum_i (y_i-\beta_0-\beta_1 x_{1i}-\beta_2 x_{2i})^2$ . Powiedzmy, że znalazłeś poprawne estymatory dla modelu 1, a następnie możesz uzyskać dokładnie takie same kwadraty sumy resztkowej w modelu 2, wybierając te same wartości dla

β_{0}, β_{1}

$\beta_0, \beta_1$ i wynajem

β_{2} = 0

$\beta_2=0$ . Teraz możesz znaleźć resztkową niższą sumę kwadratów, szukając lepszej wartości dla

β_{2}

$\beta_2$ .

Podsumowując, modele są zagnieżdżone w tym sensie, że wszystko, co możemy modelować za pomocą modelu 1, można dopasować do modelu drugiego, model drugi jest bardziej ogólny niż model 1. Tak więc, w optymalizacji, mamy większą swobodę z modelem drugim, więc możemy zawsze znajdź lepsze rozwiązanie.

To naprawdę nie ma nic wspólnego ze statystykami, ale jest ogólnym faktem na temat optymalizacji.

— kjetil b halvorsen
źródło

1

Nie myślałem w ten sposób, naprawdę pomocny!

— Eric Xu,

1

SSR jest miarą rozbieżności między danymi a modelem szacunkowym.

Jeśli masz możliwość wzięcia pod uwagę innej zmiennej, to jeśli ta zmienna zawiera więcej informacji, dopasowanie byłoby naturalnie ściślejsze, co oznacza niższy wskaźnik SSR.

— Cloud Skywalker
źródło