związek między regresji prostej i regresji wielokrotnej

10

Bardzo podstawowe pytanie dotyczące regresji OLS $R^2$

uruchomić regresję OLS y ~ x1, mamy , powiedzmy 0.3 $R^2$
uruchomić regresję OLS y ~ x2, mamy kolejne , powiedzmy 0,4 $R^2$
teraz przeprowadzamy regresję y ~ x1 + x2, jaką wartością może być R dla tej regresji?

Myślę, że jasne jest, że dla regresji wielokrotnej nie powinien być mniejszy niż 0,4, ale czy jest możliwe, aby była większa niż 0,7? $R^2$

— Olivier Ma
źródło

2

Wskazówka: może wynosić nawet 1,0. Dlaczego? (Pomyśl geometrycznie. A nawet konkretnie o okręgu jednostki.)

— kardynał

stats.stackexchange.com/questions/351200/…

— StubbornAtom

4

Drugi regresor może po prostu nadrobić to, czego pierwszy nie zdołał wyjaśnić w zmiennej zależnej. Oto numeryczny przykład:

Generuj x1jako standardowy normalny regresor, wielkość próby 20. Bez utraty ogólności weź , gdzie jest również . Teraz weź drugi regresor jako po prostu różnicę między zmienną zależną a pierwszym regresorem. $y_i=0.5x_{1i}+u_i$ $u_i$ $N(0,1)$ x2

n <- 20 
x1 <- rnorm(n)

y <- .5*x1 + rnorm(n)

x2 <- y - x1
summary(lm(y~x1))$r.squared
summary(lm(y~x2))$r.squared
summary(lm(y~x1+x2))$r.squared

— Christoph Hanck
źródło

dzięki! Źle zrozumiałem r kwadrat. Pomyślałem, że jeśli x1 + x2 = yto summary(lm(y~x1))$r.squared + summary(lm(y~x2))$r.squaredpowinno być nie mniej niż 1., ale najwyraźniej się mylę ...

— Olivier Ma

3

Poza dolną granicą, która wynosi 0,3 lub 0,4 w zależności od tego, która zmienna wchodzi do modelu jako pierwsza, niewiele można powiedzieć. Ile wzrasta w dużym stopniu zależy od informacji, że druga zmienna doprowadza do modelu. Przez informacje rozumiemy oczywiście wyjaśnioną zmienność odpowiedzi. $R^2$

Jest jedna koncepcja, która jest krytyczna w tym względzie i jest to korelacja między predyktorami. Jeśli korelacja jest duża, nowa zmienna nie tylko nie wniesie niczego do modelu, ale także skomplikuje wnioskowanie dla istniejących zmiennych, ponieważ oszacowania staną się nieprecyzyjne (wielokoliniowość). Właśnie dlatego wolelibyśmy, aby nowa zmienna była prostopadła do innych. Szanse są niewielkie w badaniach obserwacyjnych, ale można to osiągnąć w kontrolowanych warunkach, np. Podczas konstruowania własnego eksperymentu.

Ale jak dokładnie obliczyć nowe informacje, które zmienna wprowadzi do modelu? Jednym powszechnie stosowanym środkiem, który bierze pod uwagę wszystkie te są częściowy . Jeśli znasz ANOVA modelu liniowego, jest to nic innego jak proporcjonalne zmniejszenie sumy błędów kwadratów, które osiągniesz, włączając tę zmienną do swojego modelu. Pożądane są wysokie wartości procentowe, a niskie prawdopodobnie skłonią cię do zastanowienia się, czy to właściwy sposób działania. $R^2$

Tak więc, jak zauważył @cardinal w komentarzach, twój nowy współczynnik determinacji może być tak wysoki jak 1. Może również wynosić nawet 0,00001. Nie ma sposobu, aby powiedzieć bez dodatkowych informacji.

— JohnK
źródło

@JohnK, czy mógłbyś wyjaśnić, dlaczego musi być WYJĄTKOWO większy niż 0,4? Czy pomocna byłaby tutaj interpretacja geometryczna regresji?

— Dnaiel

@Dnaiel Współczynnik determinacji nie maleje w odniesieniu do liczby zmiennych w modelu.

— JohnK

3

Współczynnik determinacji w wielokrotnej regresji liniowej: W wielokrotnej regresji liniowej współczynnik determinacji można zapisać w kategoriach korelacji par dla zmiennych za pomocą postaci kwadratowej:

R^{2} = r_{y, x}^{T} r_{x, x}^{- 1} r_{y, x},

$R^2 = \boldsymbol{r}_{\mathbf{y},\mathbf{x}}^\text{T} \boldsymbol{r}_{\mathbf{x},\mathbf{x}}^{-1} \boldsymbol{r}_{\mathbf{y},\mathbf{x}},$

gdzie to wektor korelacji między wektorem odpowiedzi a każdym z wektorów objaśniających, a jest macierzą korelacji między wektorami objaśniającymi (więcej informacji na ten temat można znaleźć w powiązanym pytaniu ). W przypadku regresji dwuwymiarowej masz: $\boldsymbol{r}_{\mathbf{y},\mathbf{x}}$ $\boldsymbol{r}_{\mathbf{x},\mathbf{x}}$

\begin{aligned} R^{2} & = {[\begin{matrix} r_{Y, X_{1}} \\ r_{Y, X_{2}} \end{matrix}]}^{T} {[\begin{matrix} 1 & r_{X_{1}, X_{2}} \\ r_{X_{1}, X_{2}} & 1 \end{matrix}]}^{- 1} [\begin{matrix} r_{Y, X_{1}} \\ r_{Y, X_{2}} \end{matrix}] \\ = \frac{1}{1 - r_{X_{1}, X_{2}}^{2}} {[\begin{matrix} r_{Y, X_{1}} \\ r_{Y, X_{2}} \end{matrix}]}^{T} [\begin{matrix} 1 & - r_{X_{1}, X_{2}} \\ - r_{X_{1}, X_{2}} & 1 \end{matrix}] [\begin{matrix} r_{Y, X_{1}} \\ r_{Y, X_{2}} \end{matrix}] \\ = \frac{1}{1 - r_{X_{1}, X_{2}}^{2}} (r_{Y, X_{1}}^{2} + r_{Y, X_{2}}^{2} - 2 r_{X_{1}, X_{2}} r_{Y, X_{1}} r_{Y, X_{2}}) . \end{aligned}

$\begin{equation} \begin{aligned} R^2 &= \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & r_{X_1,X_2} \\[6pt] r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix}^{-1} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & -r_{X_1,X_2} \\[6pt] -r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} ( r_{Y,X_1}^2 + r_{Y,X_2}^2 - 2 r_{X_1,X_2} r_{Y,X_1} r_{Y,X_2} ). \end{aligned} \end{equation}$

W swoim pytaniu nie określiłeś kierunków korelacji jednowymiarowych, więc bez utraty ogólności oznaczymy . Podstawienie wartości oraz daje: $D \equiv \text{sgn} (r_{Y,X_1}) \cdot \text{sgn} (r_{Y,X_2}) \in \{ -1, +1 \}$ $r_{Y,X_1}^2 = 0.3$ $r_{Y,X_2}^2 = 0.4$

R^{2} = \frac{0.7 - 2 \sqrt{0.12} \cdot D \cdot r_{X_{1}, X_{2}}}{1 - r_{X_{1}, X_{2}}^{2}} .

$R^2 = \frac{0.7 - 2 \sqrt{0.12} \cdot D \cdot r_{X_1,X_2}}{1-r_{X_1,X_2}^2}.$

Możliwe jest, że , ponieważ możliwe jest, że łączna informacja z dwóch zmiennych jest większa niż suma jej części. To interesujące zjawisko nazywa się „ulepszeniem” (patrz np. Lewis i Escobar 1986 ). $R^2 > 0.7$

— Ben - Przywróć Monikę
źródło