Czy dodanie większej liczby zmiennych do regresji wielowymiarowej zmienia współczynniki istniejących zmiennych?

Powiedzmy, że mam regresję wielowymiarową (kilka zmiennych niezależnych), która składa się z 3 zmiennych. Każda z tych zmiennych ma określony współczynnik. Jeśli zdecyduję się wprowadzić czwartą zmienną i ponownie uruchomić regresję, czy zmienią się współczynniki 3 pierwotnych zmiennych?

Mówiąc szerzej: czy w regresji wielowymiarowej (wiele zmiennych niezależnych) na współczynnik danej zmiennej ma wpływ współczynnik innej zmiennej?

regression multiple-regression multivariable

— Lukas Pleva
źródło

Edytuj pytanie, aby było bardziej precyzyjne. Czy multivariablemasz na myśli wiele zmiennych niezależnych („regresja wielokrotna”) czy wiele zmiennych zależnych („regresja wielowymiarowa” lub „MAN (C) OVA”)?

— ttnphns

Gdyby odpowiedź brzmiała „nie”, nie byłoby potrzeby wykonywania regresji wielowymiarowej! (moglibyśmy po prostu zrobić wiele jednowymiarowych)

— user603 13.03.13

To wnikliwy punkt, @ user603, ale myślę, że nadal może istnieć miejsce na regresję wielokrotną, ponieważ jeśli inne zmienne byłyby istotnie powiązane z odpowiedzią (choć nie zmienną objaśniającą), mogą zmniejszyć różnicę wariancji prowadzącą do poprawy moc i precyzja.

— Gung - Przywróć Monikę

Odpowiedzi:

Estymacja parametrów w modelu regresji ) zmienia się, czy zmienna , dodaje się do modelu, które są: $\hat\beta_i$ $X_j$

skorelowany z parametru odpowiadającej zmiennej (co już w modelu) i $X_i$
skorelowane ze zmienną odpowiedzi, $Y$

Szacowana wartość beta nie zmieni się po dodaniu nowej zmiennej, jeśli którakolwiek z powyższych wartości będzie nieskorelowana. Zauważ, że to, czy są one nieskorelowane w populacji (tj. , czy ) jest nieistotne. Ważne jest to, że obie przykładowe korelacje wynoszą dokładnie . Zasadniczo nigdy nie będzie tak w praktyce, chyba że pracujesz z danymi eksperymentalnymi, w których zmiennymi manipulowano w taki sposób, że nie są one skorelowane z założenia. $\rho_{(X_i, X_j)}=0$ $\rho_{(X_j, Y)}=0$ $0$

Zauważ też, że wielkość zmiany parametrów może nie mieć zbyt wielkiego znaczenia (zależy to, przynajmniej częściowo, od twojej teorii). Co więcej, wielkość, którą mogą zmienić, jest funkcją wielkości dwóch powyższych korelacji.

Z drugiej strony, nie jest tak naprawdę słuszne myśleć o tym zjawisku jako o „współczynniku danej zmiennej [będącym pod wpływem współczynnika innej zmiennej”). To nie bety wpływają na siebie nawzajem. Zjawisko to jest naturalnym wynikiem algorytmu używanego przez oprogramowanie statystyczne do szacowania parametrów nachylenia. Wyobraźmy sobie sytuację, w której jest spowodowane zarówno przez i , które z kolei są skorelowane ze sobą. Jeśli tylko jest w modelu, niektóre z różnic w , który jest ze względu na zostaną niewłaściwie nadana $Y$ $X_i$ $X_j$ $X_i$ $Y$ $X_j$ $X_i$ . Oznacza to, że wartość jest stronnicza; nazywa się to pomijanym zmiennym nastawieniem . $X_i$

— gung - Przywróć Monikę
źródło

Bardzo dobry punkt do zrobienia w tym ostatnim zdaniu.

— Glen_b

Omawiam drugą stronę tego problemu w mojej odpowiedzi tutaj: Szacowanie

zamiast

b_{1} x_{1} + b_{2} x_{2}

$b_1x_1+b_2x_2$

b_{1} x_{1} + b_{2} x_{2} + b_{3} x_{3}

$b_1x_1+b_2x_2+b_3x_3$ .

— gung - Przywróć Monikę

@gung wiem odpowiedź jest stary, ale ja po prostu próbowałem to ideone.com/6CAkSR gdzie stworzył

są skorelowane i

jest skorelowane z

. Ale kiedy dodany

do modelu parametr x2 zmieniło chociaż

jest skorelowane z

. powiedziałeś w swojej odpowiedzi „skorelowany ze zmienną odpowiedzi,

Szacowana beta nie zmieni się po dodaniu nowej zmiennej, jeśli którakolwiek z powyższych nie będzie skorelowana”. Czy się mylę?

y

$y$

x 2

$x2$

x 1

$x1$

y

$y$

x 1

$x1$

x 1

$x1$

y

$y$

Y

$Y$

— floyd

Musi być całkowicie nieskorelowany, a nie tylko niezbyt skorelowany, @floyd. Jeśli tak, beta dla

nie powinien się zmienić, chyba że wystąpił jakiś błąd.

s_{1}

$s_1$

— gung - Przywróć Monikę

@gung bardzo dziękuję za odpowiedź. Czy znasz sposób tworzenia tak doskonałych danych? wiem, że to nie może się zdarzyć w prawdziwym życiu

— Floyd

Z matematycznego punktu widzenia możliwe jest, że współczynniki się nie zmienią, ale jest mało prawdopodobne, że rzeczywiste dane w ogóle się nie zmienią, nawet jeśli wszystkie zmienne niezależne są od siebie niezależne. Ale w takim przypadku zmiany (inne niż w punkcie przechwytywania) będą miały tendencję do 0:

set.seed(129231)
x1 <- rnorm(100)
x2 <- rnorm(100)
x3 <- rnorm(100)
x4 <- rnorm(100)
y <- x1 + x2 + x3 + x4 + rnorm(100, 0, .2)
lm1 <- lm(y~x1+x2+x3)
coef(lm1)
lm2 <- lm(y~x1+x2+x3+x4)
coef(lm2)

Jednak w świecie rzeczywistym zmienne niezależne są często ze sobą powiązane. W takim przypadku dodanie czwartej zmiennej do równania zmieni inne współczynniki, czasami o wiele.

Możliwe są interakcje… ale to kolejne pytanie.

— Peter Flom - Przywróć Monikę
źródło

Ogólnie rzecz biorąc, tak, dodanie zmiennej zmienia wcześniejsze współczynniki, prawie zawsze.

Rzeczywiście, jest to zasadniczo przyczyna paradoksu Simpsona , w którym współczynniki mogą się zmieniać, nawet odwrócić znak, z powodu pominiętych współzmiennych.

Aby tak się nie stało, potrzebowalibyśmy, aby nowe zmienne były prostopadłe do poprzednich. Zdarza się to często w zaprojektowanych eksperymentach, ale jest bardzo mało prawdopodobne w danych, w których wzorzec zmiennych niezależnych nie jest planowany.

— Glen_b - Przywróć Monikę
źródło