Wpływ odpowiedzi przełączającej i zmiennej objaśniającej w prostej regresji liniowej

48

Załóżmy, że istnieje pewien „prawdziwy” związek między i , tak że , gdzie i są stałymi, a jest IID normalnego hałasu. Kiedy losowo generować dane z tego kodu R: a następnie dopasować model podobnego , ja oczywiście się rozsądnie dobre prognozy dla i . $y$ $x$ $y = ax + b + \epsilon$ $a$ $b$ $\epsilon$ x <- 1:100; y <- ax + b + rnorm(length(x))y ~ x $a$ $b$

Jeśli jednak zmienię rolę zmiennych jak w (x ~ y), a następnie przepiszę wynik, aby $y$ było funkcją $x$ , wynikowe nachylenie jest zawsze bardziej strome (bardziej ujemne lub bardziej dodatnie) niż oszacowane przez y ~ xregresję. Staram się dokładnie zrozumieć, dlaczego tak jest, i doceniłbym to, gdyby ktokolwiek mógł dać mi intuicję, co się tam dzieje.

regression

— Greg Aponte
źródło

1

To ogólnie nie jest prawda. Być może po prostu widzisz to w swoich danych. Wklej ten kod: y = rnorm (10); x = rnorm (10); lm (y ~ x); lm (x ~ y); do R kilka razy, a przekonasz się, że idzie w obie strony.

— Makro

To trochę różni się od tego, co opisałem. W twoim przykładzie y w ogóle nie było funkcją x, więc tak naprawdę nie ma żadnego „nachylenia” („a” w moim przykładzie).

— Greg Aponte

lm (y ~ x) pasuje do modelu

y = β_{0} + β_{1} x + ε

$y = \beta_{0} + \beta_{1}x + \varepsilon$ o najmniejsze kwadraty (równoważne oszacowaniu ML, gdy błędy są prawidłowe). Jest nachylenie.

— Makro

2

Twoje pytanie jest zadawane i odpowiedzi (w pewnym sensie) na stats.stackexchange.com/questions/13126 i stats.stackexchange.com/questions/18434 . Jednak uważam, że nikt jeszcze nie przedstawił prostego, jasnego wyjaśnienia zależności między (a) regresją

Y

$Y$ vs

X

$X$ , (b) regresją

X

$X$ vs

Y

$Y$ , (c) analizą korelacji

X

$X$ i

Y

$Y$ , (d) regresja błędów w zmiennych

X

$X$ i

Y

$Y$ oraz (e) dopasowanie dwuwymiarowego Rozkład normalny do

(X, Y)

$(X,Y)$ . To byłoby dobre miejsce na taką ekspozycję :-).

— whuber

2

Oczywiście Makro jest poprawne: ponieważ xiy odgrywają równoważne role w pytaniu, które nachylenie jest bardziej ekstremalne, jest kwestią przypadku. Jednak geometria sugeruje (niepoprawnie), że kiedy odwrócimy x i y w regresji, powinniśmy otrzymać wartość odniesienia pierwotnego nachylenia. To się nigdy nie zdarza, chyba że xiy są liniowo zależne. To pytanie można interpretować jako pytanie, dlaczego.

— whuber

23

Biorąc pod uwagę punktów danych , w płaszczyźnie, narysujmy linię prostą . Jeśli przewidzieć jako wartości z , wówczas błąd jest $n$ $(x_i,y_i), i = 1,2,\ldots n$ $y = ax+b$ $ax_i+b$ $\hat{y}_i$ $y_i$ Thekwadratowy błądjest icałkowitym błędem kwadratów . Pytamy $(y_i-\hat{y}_i) = (y_i-ax_i-b)$ $(y_i-ax_i-b)^2$ $\sum_{i=1}^n (y_i-ax_i-b)^2$

Co wybór oraz minimalizuje ? $a$ $b$ $S =\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2$

Ponieważ jest pionową odległością od linii prostej, prosimy o taką linię, aby suma kwadratów pionowych odległości punktów od linia jest tak mała, jak to możliwe. Teraz ma kwadratową funkcją zarówno i , a osiąga minimalną wartość, gdy i są takie, że $(y_i-ax_i-b)$ $(x_i,y_i)$ $S$ $a$ $b$ $a$ $b$ Z drugiego równania otrzymujemy

\begin{aligned} \frac{\partial S}{\partial a} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- x_{i}) & = 0 \\ \frac{\partial S}{\partial b} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- 1) & = 0 \end{aligned}

$\begin{align*} \frac{\partial S}{\partial a} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-x_i) &= 0\\ \frac{\partial S}{\partial b} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-1) &= 0 \end{align*}$

gdzie

b = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - a x_{i}) = μ_{y} - a μ_{x}

$b = \frac{1}{n}\sum_{i=1}^n (y_i - ax_i) = \mu_y - a\mu_x$

to średnia arytmetyczna wartości

's a

' s, odpowiednio. Podstawiając do pierwszego równania, otrzymujemy

μ_{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}, μ_{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\displaystyle \mu_y = \frac{1}{n}\sum_{i=1}^n y_i, ~ \mu_x = \frac{1}{n}\sum_{i=1}^n x_i$

y_{i}

$y_i$

x_{i}

$x_i$

Zatem linia, która minimalizuje

może być wyrażona jako

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

S

$S$

a minimalna wartość

wynosi

y = a x + b = μ_{y} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}) (x - μ_{x}),

$y = ax+b = \mu_y + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}\right) (x - \mu_x),$

S

$S$

S_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$S_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

Jeśli zamienione role i , narysować linię i poprosić o wartości i , które minimalizują czyli chcemy linię tak, że suma kwadratów poziomych odległości punktów od linii jest tak mały, jak to możliwe, a następnie otrzymujemy $x$ $y$ $x = \hat{a}y + \hat{b}$ $\hat{a}$ $\hat{b}$

T = \sum_{i = 1}^{n} (x_{i} - \hat{a} y_{i} - \hat{b})^{2},

$T = \sum_{i=1}^n (x_i - \hat{a}y_i - \hat{b})^2,$

a minimalna wartośćwynosi

x = \hat{a} y + \hat{b} = μ_{x} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}) (y - μ_{y})

$x = \hat{a}y+\hat{b} = \mu_x + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}\right) (y - \mu_y)$

T

$T$

T_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}} .

$T_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}.$

Zauważ, że obie linie przechodzą przez punkt ale nachylenia wynoszą $(\mu_x,\mu_y)$ są ogólnie różne. Rzeczywiście, jak wskazuje @whuber w komentarzu, nachylenia są takie same, gdy wszystkie punktyleżą na tej samej linii prostej. W tym celu patrz uwaga że

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}, {\hat{a}}^{- 1} = \frac{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2},~~ \hat{a}^{-1} = \frac{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}$

(x_{i}, y_{i})

$(x_i,y_i)$

{\hat{a}}^{- 1} - a = \frac{S_{min}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}} = 0 \Rightarrow S_{min} = 0 \Rightarrow y_{i} = a x_{i} + b, i = 1, 2, \dots, n .

$\hat{a}^{-1} - a = \frac{S_{\min}}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y} = 0 \Rightarrow S_{\min} = 0 \Rightarrow y_i=ax_i+b, i=1,2,\ldots, n.$

— Dilip Sarwate
źródło

Dzięki! abs (korelacja) <1 wyjaśnia, dlaczego nachylenie było systematycznie bardziej strome w odwrotnym przypadku.

— Greg Aponte

(+1), ale dodałem odpowiedź z ilustracją tego, co właśnie powiedziałeś, ponieważ mam geometryczny umysł :)

— Elvis

Odpowiedź klasy (+1)

— Digio,

39

Aby zilustrować odpowiedź Dilipa: na poniższych zdjęciach

czarne kropki to punkty danych;
po lewej czarna linia jest linią regresji uzyskaną przez y ~ x, która minimalizuje kwadraty długości czerwonych segmentów;
po prawej stronie czarna linia jest uzyskaną linią regresji x ~ y, która minimalizuje kwadraty długości czerwonych segmentów.

linie regresji

Edycja (regresja najmniejszych prostokątów)

$y$ $x$

$Y = aX + b + \epsilon$
$\hat y_i = a x_i + b$ $\hat x_i = {1\over a} (y_i - b)$ $Y_i$ $X = x_i$ $X_i$ $Y = y_i$
$\sum_i | x_i - \hat x_i | \cdot | y_i - \hat y_i|$ $\hat{y} = s i g n (c o v (x, y)) \frac{{\hat{σ}}_{y}}{{\hat{σ}}_{x}} (x - \bar{x}) + \bar{y} .$ $\hat y = \mathrm{sign}\left(\mathrm{cov}(x,y)\right){\hat\sigma_y \over \hat\sigma_x} (x-\overline x) + \overline y.$

Oto ilustracja z tymi samymi punktami danych, dla każdego punktu obliczany jest „prostokąt” jako iloczyn długości dwóch czerwonych segmentów, a suma prostokątów jest zminimalizowana. Nie wiem wiele o właściwościach tej regresji i nie znajduję wiele w Google.

najmniej prostokątów

— Elvis
źródło

14

X = (y, x)

$\mathbf X = (\mathbf y, \mathbf x)$

14

δ = 1

$\delta = 1$

2

@cardinal Bardzo ciekawe komentarze! (+1) Uważam, że tutaj ważna jest również oś główna (minimalizująca prostopadłe odległości między linią reg. A wszystkimi punktami, à la PCA) lub zmniejszona regresja osi głównej lub regresja typu II, jak zilustrowane w pakiecie lmodel2 R autorstwa P Legendre, ponieważ techniki te są stosowane, gdy trudno jest powiedzieć, jaką rolę (odpowiedź lub predyktor) odgrywa każda zmienna lub kiedy chcemy uwzględnić błędy pomiaru.

— chl

1

@chl: (+1) Tak, uważam, że masz rację, a strona Wikipedii w sumie najmniejszych kwadratów zawiera kilka innych nazw dla tej samej procedury, z których nie wszystkie znam. Wydaje się, że sięga co najmniej R. Frischa, statystycznej analizy konfluencji za pomocą kompletnych systemów regresji , Universitetets Økonomiske Instituut, 1934, gdzie nazwano ją regresją diagonalną .

— kardynał

3

@ kardynał Powinienem być bardziej ostrożny, czytając wpis w Wikipedii ... W celu odniesienia się w przyszłości, oto zdjęcie zrobione z Biostatistic Design and Analysis Using R , autorstwa M. Logana (Wiley, 2010; Ryc. 8.4, s. 174) , który podsumowuje różne podejścia, podobnie jak ładne ilustracje Elvisa.

— chl

13

$x$ $y$ $s_{x}$ $s_{y}$ $x$ $y$ $r$ $y$ $r\frac{s_{y}}{s_{x}}$ $x$ $r\frac{s_{x}}{s_{y}}$ $r^2\leq 1$

Tak więc im większy wyjaśniony odsetek wariancji, tym bliższe nachylenie uzyskane z każdego przypadku. Zauważ, że proporcja wyjaśnionej wariancji jest symetryczna i równa kwadratowej korelacji w prostej regresji liniowej.

— prawdopodobieństwo prawdopodobieństwa
źródło

1

$y=\alpha+\beta x+\epsilon$

$y=a_{y\sim x}+b_{y\sim x} x$
$x=a_{x\sim y}+b_{x\sim y} y$

$b_{y\sim x}=\frac{cov(x,y)}{var(x)}=\frac{cov(x,y)}{var(y)}\frac{var(y)}{var(x)}$

b_{y \sim x} = b_{x \sim y} \frac{v a r (y)}{v a r (x)}

$b_{y\sim x}=b_{x\sim y}\frac{var(y)}{var(x)}$

$\frac{var(y)}{var(x)}$

\frac{v a r (y)}{v a r (x)} = \frac{β^{2} v a r (x) + v a r (ϵ)}{v a r (x)}

$\frac{var(y)}{var(x)}=\frac{\beta^2 var(x) + var(\epsilon)}{var(x)}$

Link do innych odpowiedzi

$R^2=1$ $R^2=1\Rightarrow var(\epsilon) = 0$ $b_{y\sim x}=\beta$

R^{2} = 1 \Rightarrow b_{y \sim x} = b_{x \sim y} \frac{β^{2} v a r (x) + 0}{v a r (x)} = b_{x \sim y} β^{2}

$R^2=1\Rightarrow b_{y\sim x}=b_{x\sim y}\frac{\beta^2 var(x) + 0}{var(x)}=b_{x\sim y}\beta^2$

$b_{x\sim y}=1/\beta$

— Matifou
źródło

0

Staje się interesujący, gdy na twoich wejściach pojawia się również szum (co moglibyśmy argumentować, że zawsze tak jest, żadne polecenie lub obserwacja nigdy nie są idealne).

$x = y$

x = np.linspace(0, 1, n)
y = x

x_o = x + np.random.normal(0, 0.2, n)
y_o = y + np.random.normal(0, 0.2, n)

Zobacz różne wyniki (odr tutaj to regresja odległości ortogonalnej , tj. Taka sama jak regresja najmniejszych prostokątów):

Cały kod jest tam:

https://gist.github.com/jclevesque/5273ad9077d9ea93994f6d96c20b0ddd

— levesque
źródło

0

Linia regresji nie jest (zawsze) taka sama jak prawdziwa relacja

Możesz mieć jakiś „prawdziwy” związek przyczynowy

y = a + b x + ϵ

$y = a + bx + \epsilon$

ale dopasowane linie regresji y ~ xlub x ~ ynie oznaczają tego samego co związek przyczynowy (nawet jeśli w praktyce wyrażenie dla jednej z linii regresji może pokrywać się z wyrażeniem związku przyczynowego „prawdziwego”)

Bardziej precyzyjna relacja między stokami

Dla dwóch przełączonych prostych regresji liniowych:

Y = a_{1} + b_{1} X X = a_{2} + b_{2} Y

$Y = a_1 + b_1 X\\X = a_2 + b_2 Y$

możesz powiązać stoki w następujący sposób:

b_{1} = ρ^{2} \frac{1}{b_{2}} \leq \frac{1}{b_{2}}

$b_1 = \rho^2 \frac{1}{b_2} \leq \frac{1}{b_2}$

Stoki nie są więc odwrotne.

Intuicja

Powód jest taki, że

Linie regresji i korelacji nie nie muszą odpowiadać jeden-na-jeden do związku przyczynowego.
Linie regresji odnoszą się bardziej bezpośrednio do warunkowego prawdopodobieństwa lub najlepszej prognozy.

Możesz sobie wyobrazić, że prawdopodobieństwo warunkowe odnosi się do siły związku. Linie regresji odzwierciedlają to, a nachylenie linii może być zarówno płytkie, gdy siła relacji jest niewielka, jak i obie strome, gdy siła relacji jest silna. Stoki nie są po prostu odwrotne.

Przykład

$X$ $Y$

Y = a little bit of X + a lot of error

$Y = \text{a little bit of $X + $ a lot of error}$

X

$X$

Y

$Y$ .

Zamiast

X = a lot of Y + a little of error

$X = \text{a lot of $Y + $ a little of error}$

lepiej byłoby również użyć

X = a little bit of Y + a lot of error

$X = \text{a little bit of $Y + $ a lot of error}$

$\Sigma_{11} \Sigma_{22}=1$ $\Sigma_{12} = \Sigma_{21} = \rho$

Warunkowe oczekiwane wartości (uzyskane w regresji liniowej) to

\begin{matrix} E (Y | X) & = & ρ X \\ E (X | Y) & = & ρ Y \end{matrix}

$\begin{array}{} E(Y|X) &=& \rho X \\ E(X|Y) &=& \rho Y \end{array}$

$X,Y$

\begin{matrix} Y & \sim & N (ρ X, 1 - ρ^{2}) \\ X & \sim & N (ρ Y, 1 - ρ^{2}) \end{matrix}

$\begin{array}{} Y & \sim & N(\rho X,1-\rho^2) \\ X & \sim & N(\rho Y,1-\rho^2) \end{array}$

$\rho X$ $1-\rho^2$ . To samo jest prawdą na odwrót.

$\rho$ Y ~ XX ~ Y

— Sextus Empiricus
źródło

0

Krótka odpowiedź

Celem prostej regresji liniowej jest uzyskanie najlepszych przewidywań yzmiennej, przy danych wartościach xzmiennej. Jest to inny cel niż próba wymyślenia najlepszej prognozy xzmiennej, biorąc pod uwagę wartości yzmiennej.

Prosta regresji liniowej y ~ xdaje „najlepsze” możliwy model do przewidywania ypodane x. Dlatego jeśli dopasujesz model x ~ yi odwrócisz go algebraicznie, model ten będzie w najlepszym wypadku działał równie dobrze jak model y ~ x. Ale odwracanie model pasuje do x ~ yzazwyczaj gorzej w przewidywaniu ypodano x, w porównaniu do „optymalnego” y ~ xmodelu, ponieważ „odwrócony x ~ ywzór” został stworzony, aby spełnić inny cel.

Ilustracja

Wyobraź sobie, że masz następujący zestaw danych:

Po uruchomieniu regresji OLS y ~ xpojawia się następujący model

y = 0.167 + 1.5*x

To optymalizuje prognozy y, dokonując następujących prognoz, które są powiązane z błędami:

Prognozy regresji OLS są optymalne w tym sensie, że suma wartości w prawej kolumnie (tj. Suma kwadratów) jest tak mała, jak to tylko możliwe.

Po uruchomieniu regresji OLS x ~ ypojawia się inny model:

x = -0.07 + 0.64*y

To optymalizuje prognozy x, tworząc następujące prognozy z powiązanymi błędami.

Ponownie, jest to optymalne w tym sensie, że suma wartości skrajnej prawej kolumny jest tak mała, jak to możliwe (równa się 0.071).

Teraz wyobraź sobie, że próbowałeś po prostu odwrócić pierwszy model y = 0.167 + 1.5*x, używając algebry, dając ci model x = -0.11 + 0.67*x.

Dałoby to następujące prognozy i powiązane błędy:

Suma wartości w kolumnie znajdującej się po prawej stronie 0.074jest większa niż odpowiednia suma z modelu uzyskanego z regresji x na y, tj. x ~ yModelu. Innymi słowy, „ y ~ xmodel odwrócony ” radzi sobie gorzej w przewidywaniu x niż model OLS x ~ y.

— bschneidr
źródło