Co oznacza „wszystko inne równe” w regresji wielokrotnej?

Kiedy wykonujemy wiele regresji i mówimy, że patrzymy na średnią zmianę zmiennej dla zmiany zmiennej , utrzymując wszystkie pozostałe zmienne na stałym poziomie, na jakich wartościach utrzymujemy inne zmienne jako stałe? Ich średni? Zero? Dowolna wartość? $y$ $x$

Jestem skłonny myśleć, że to ma jakąkolwiek wartość; tylko szukam wyjaśnień. Gdyby ktoś miał dowód, to też byłoby świetnie.

— EconStats
źródło

Przykład 10 w pracy Petera Kennedy'ego był bardzo pomocny w zrozumieniu tego.

— Dimitriy V. Masterov

Tak, kwestia zwiększenia liczby pokoi przy utrzymaniu stałej stopy kwadratowej jest naprawdę spostrzegawczym punktem. Ten papier jest w rzeczywistości kopalnią przydatnych pomysłów, będzie w notatkach doktora.

— EconStats

To właściwie bardzo interesujące pytanie, zastanawiam się, czy ekonomiści zadają sobie pytanie, co dokładnie znaczy „ceteris paribus”.

— mugen

Masz rację. Technicznie jest to dowolna wartość . Jednakże, kiedy uczę tego, zwykle mówię ludziom, że otrzymujesz efekt zmiany jednej jednostki w gdy wszystkie inne zmienne są utrzymywane na ich odpowiednich . Uważam, że jest to powszechny sposób na wyjaśnienie tego, co nie jest dla mnie specyficzne. $X_j$

Zazwyczaj że jeśli nie masz żadnych interakcji, będzie efektem zmiany jednej jednostki w , bez względu na wartości innych zmiennych. Ale lubię zaczynać od przeciętnego sformułowania. Powodem są dwa efekty włączenia wielu zmiennych do modelu regresji. Po pierwsze, otrzymujesz efekt kontrolowania dla innych zmiennych (patrz moja odpowiedź tutaj ). Drugi polega na tym, że obecność innych zmiennych (zwykle) zmniejsza resztkową wariancję modelu, tworząc twoje zmienne (w tym $\beta_j$ $X_j$ $X_j$ $X_j$ ) 'bardziej znaczący'. Ludziom trudno jest zrozumieć, jak to działa, jeśli inne zmienne mają wartości, które są wszędzie. Wygląda na to, że zwiększyłoby to zmienność. Jeśli myślisz o dostosowaniu każdego punktu danych w górę lub w dół o wartość każdej innej zmiennej, dopóki wszystkie pozostałe zmienne nie zostaną przeniesione do odpowiednich wartości, łatwiej jest zauważyć, że zmienność resztkowa została zmniejszona. $X$

Nie wchodzę w interakcje, dopóki klasa lub dwie po wprowadzeniu podstaw regresji wielokrotnej. Jednak kiedy do nich docieram, wracam do tego materiału. Powyższe stosuje się, gdy nie ma interakcji. Kiedy występują interakcje, jest to bardziej skomplikowane. W takim przypadku zmienne oddziałujące [s] są utrzymywane na stałym poziomie (bardzo konkretnie) na poziomie i na żadnej innej wartości. $0$

Jeśli chcesz zobaczyć, jak to wygląda algebraicznie, jest to raczej proste. Możemy zacząć od przypadku braku interakcji. Określmy zmianę w gdy wszystkie inne zmienne są utrzymywane na stałym poziomie w odpowiednich środkach. Bez utraty ogólności, powiedzmy, że istnieją trzy zmienne i jesteśmy zainteresowani zrozumieniem, w jaki sposób zmiana jest powiązana ze zmianą jednej jednostki w , utrzymując i stałym poziomie: $\hat Y$ $X$ $\hat Y$ $X_3$ $X_1$ $X_2$

\begin{aligned} {\hat{Y}}_{i} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 i} \\ {\hat{Y}}_{i^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) \\ subtracting the first equation from the second: \\ {\hat{Y}}_{i^{'}} - {\hat{Y}}_{i} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) - {\hat{β}}_{3} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3 \end{align}$

Teraz jest oczywiste, że moglibyśmy umieścić dowolną wartość dla i w pierwszych dwóch równaniach, pod warunkiem, że wstawimy tę samą wartość dla ( ) w obu z nich. To znaczy, dopóki trzymamy i stałą . $X_1$ $X_2$ $X_1$ $X_2$ $X_1$ $X_2$

Z drugiej strony nie działa to w ten sposób, jeśli masz interakcję. Tutaj pokazuję przypadek, w którym występuje termin interakcji : $X_1X_3$

\begin{aligned} {\hat{Y}}_{i} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ {\hat{Y}}_{i^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) + {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 i} + 1) \\ subtracting the first equation from the second: \\ {\hat{Y}}_{i^{'}} - {\hat{Y}}_{i} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) - {\hat{β}}_{3} X_{3 i} + \\ {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 i} + 1) - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} + {\hat{β}}_{4} {\bar{X}}_{1} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \quad\quad\ \! + \hat\beta_4\bar X_1X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) + \hat\beta_4\bar X_1(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} + \\ &\quad\ \hat\beta_4\bar X_1(X_{3i}\!+\!1) - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} + \hat\beta_4\bar X_1 X_{3i} + \hat\beta_4\bar X_1 - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3 + \hat\beta_4\bar X_1 \end{align}$

W takim przypadku nie jest możliwe utrzymanie stałej wartości wszystkich pozostałych. Ponieważ termin interakcji jest funkcją i , zmiana nie jest możliwa bez zmiany terminu interakcji. Zatem równa się zmianie związanej ze zmianą jednej jednostki w tylko wtedy, gdy zmienna interakcji ( ) jest utrzymywana na poziomie zamiast (lub dowolnej innej wartości poza ), w którym to przypadku ostatni termin w dolnym równaniu odpada. $X_1$ $X_3$ $X_3$ $\hat\beta_3$ $\hat Y$ $X_3$ $X_1$ $0$ $\bar X_1$ $0$

W tej dyskusji skupiłem się na interakcjach, ale bardziej ogólnie problem polega na tym, że jest jakaś zmienna będąca funkcją innej, tak że nie można zmienić wartości pierwszej bez zmiany odpowiedniej wartości drugiej zmiennej . W takich przypadkach znaczenie staje się bardziej skomplikowane. Na przykład, jeśli miałeś model z i , to jest pochodną utrzymującą wszystkie pozostałe równe i posiadającą (patrz moja odpowiedź tutaj ). Możliwe są również inne, jeszcze bardziej skomplikowane formulacje. $\hat\beta_j$ $X_j$ $X_j^2$ $\hat\beta_j$ $\frac{dY}{dX_j}$ $X_j=0$

— gung - Przywróć Monikę
źródło

Dzięki Gung, ta odpowiedź jest świetna na kilku poziomach. Po pierwsze odpowiada na główny punkt, który mnie interesował. Po drugie, przewidziałeś, jakie będzie moje dalsze pytanie, ponieważ zamierzałem zapytać, jak to się zmieniło wraz z wprowadzeniem warunków interakcji. Dziękuję również za matematykę. Wiem, że to pytanie jest dość podstawowe, ale uważam, że z tymi pojęciami nigdy nie możesz być zbyt jednoznaczny.

— EconStats

Nie ma za co, @EconStats. Nie ma problemu z włączeniem matematyki, czasem znacznie łatwiej jest zrozumieć, co się dzieje.

— Gung - Przywróć Monikę

Cóż, muszę powiedzieć, że odjęcie pierwszego równania od drugiego równania ostatecznie potwierdziło moje oryginalne myśli, że nie ma znaczenia, jakie są wartości i , o ile są one takie same w obu równaniach. Wydaje mi się to oczywiste, ale nigdy wcześniej nie myślałem o obliczeniu ten sposób. Zdecydowany moment dla mnie.

X_{2}

$X_2$

X_{3}

$X_3$

β

$\beta$

— EconStats

Możesz także wziąć pochodną wrt i przeniesie Cię w to samo miejsce, ale jest to łatwiejsza matematyka (zasadniczo algebra dla szkół średnich), więc będzie dostępna dla szerszej publiczności.

Y

$Y$

X_{j}

$X_j$

— Gung - Przywróć Monikę

@ Beetroot, jeśli dobrze cię rozumiem, po prostu trzymasz go na określonym poziomie. (W przeciwnym razie możesz zadać to jako nowe pytanie.)

— Gung - Przywróć Monikę

Matematyka jest prosta, wystarczy wziąć różnicę między 2 modelami z jedną zmienną x zmienioną o 1, a zobaczysz, że nie ma znaczenia, jakie są inne zmienne (pod warunkiem, że nie ma interakcji, wielomianu lub innych skomplikowanych terminów).

Jeden przykład:

$y_{[1]} = b_0 + b_1 \times x_1 + b_2 \times x_2$

$y_{[2]} = b_0 + b_1 \times (x_1 + 1) + b_2 \times x_2$

$y_{[2]} - y_{[1]} = b_0 - b_0 + b_1\times x_1 - b_1\times x_1 + b_1 \times 1 + b_2 \times x_2 - b_2 \times x_2 = b_1$

— Greg Snow
źródło

Uważam, że masz na myśli zależność w zmiennych towarzyszących ( ). Więc jeśli modelem jest wpływ na wszystkie pozostałe rzeczy będą równe to dla dowolnego z wszystkimi innymi utrzymywanymi stałymi na dowolnej wartości. $X_i$

Y = β_{0} + β_{1} X_{1} + β_{2)} X_{2)}

$Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2$

X_{i}

$X_i$

Y

$Y$

\frac{Δ Y}{Δ X_{i}}

$\frac{\Delta{Y}}{\Delta{X_i}}$

Δ X_{i}

$\Delta{X_i}$

X_{j}

$X_j$

Należy pamiętać, że możliwe jest, że i są zależne (np. Funkcje od siebie), niekoniecznie wykazując znaczącą interakcję w modelu liniowym ( w ). $X_1$ $X_2$ $\beta_{12}=0$ $Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2+\beta_{12}X_1X_2$

Ciekawą styczną jest tutaj przykład: Niech i to oczywiście każda zmiana w wpłynie na . Jednak kowariancja między nimi wynosi zero. $X_1\sim N(0,\sigma_1^2)$ $X_2=X_1^{2}+N(0,\sigma_2^2)$ $X_1$ $X_2$

do o v (X_{1}, X_{2)}) = mi (X_{1} X_{2)}) - mi (X_{1}) mi (X_{2)})

$cov(X_1,X_2)=E(X_1X_2)-E(X_1)E(X_2)$

= mi [X_{1} (X_{1}^{2)} + za)] - mi (X_{1}) . mi (X_{1}^{2)} - za) w ja t h za \sim N. (0, σ_{2)}^{2)})

$=E[X_1(X_1^2+a)]-E(X_1).E(X_1^2-a)\,with\,a\sim N(0,\sigma_2^2)$

= mi (X_{1}^{3)}) - mi (X_{1} . za) - 0. mi (X_{1}^{2)} - za) = 0 - 0 - 0 = 0

$=E(X_1^3)-E(X_1.a)-0.E(X_1^2-a)=0-0-0=0$

Tak więc w rzeczywistości zmiana byłaby powiązana ze zmianą a nie obejmowałoby tego, co naprawdę by się stało, gdybyś zmienił . Ale nadal byłby opisywany jako wpływ na wszystkich rzeczy równych. $X_1$ $X_2$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_1$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_i$ $Y$

Jest to porównywalne z różnicą między pochodną pełną a pochodną cząstkową (analogiem ) w równaniu różniczkowym. $\frac{\Delta{Y}}{\Delta{X_i}}$

— Hans Roggeman
źródło

Dzięki Hans, tak naprawdę próbowałem dojść do punktu, w którym powstał Gung, ale jest to dobry przykład, kiedy dwie zmienne są zależne.

— EconStats