Czy istnieje elegancki / wnikliwy sposób zrozumienia tej tożsamości regresji liniowej dla wielu ?

W regresji liniowej doszedłem do cudownego wyniku, jeśli dopasujemy model

E [Y] = β_{1} X_{1} + β_{2} X_{2} + c,

$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$

to jeśli znormalizujemy i wyśrodkujemy dane , i , $Y$ $X_1$ $X_2$

R^{2} = C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} .

$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$

Wydaje mi się, że jest to zmienna wersja dla regresji , co jest przyjemne. $R^2 = \mathrm{Cor}(Y,X)^2$ $y=mx+c$

Ale jedyny dowód, jaki znam, nie jest w żaden sposób konstruktywny ani wnikliwy (patrz poniżej), a jednak patrząc na to wydaje się, że powinien być łatwo zrozumiały.

Przykładowe przemyślenia:

Parametry i dają nam „proporcję” i w , więc bierzemy odpowiednie proporcje ich korelacji ... $\beta_1$ $\beta_2$ $X_1$ $X_2$ $Y$
W y są częściowymi korelacje, jest kwadrat korelacji wielorakiej ... korelacje pomnożone przez częściowe korelacji ... $\beta$ $R^2$
Jeśli najpierw ortogonalizujemy, to s będzie ... czy ten wynik ma jakiś sens geometryczny? $\beta$ $\mathrm{Cov}/\mathrm{Var}$

Żaden z tych wątków wydaje mi się nigdzie nie prowadzić. Czy ktoś może podać jasne wyjaśnienie, w jaki sposób zrozumieć ten wynik.

Niezadowalający dowód

R^{2} = \frac{S S_{r e g}}{S S_{T o t}} = \frac{S S_{r e g}}{N} = ⟨ (β_{1} X_{1} + β_{2} X_{2})^{2} ⟩ = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$

C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} = ⟨ Y X_{1} ⟩ β_{1} + ⟨ Y X_{2} ⟩ β_{2} = ⟨ β_{1} X_{1}^{2} + β_{2} X_{1} X_{2} ⟩ β_{1} + ⟨ β_{1} X_{1} X_{2} + β_{2} X_{2}^{2} ⟩ β_{2} = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$

CO BYŁO DO OKAZANIA.

— Korone
źródło

Musisz używać standardowych zmiennych, bo w przeciwnym razie nie ma gwarancji , że twoja formuła dla będzie zawierać się między a . Chociaż założenie to pojawia się w twoim dowodzie, pomogłoby to wyrazić je od samego początku. Zastanawiam się również nad tym, co naprawdę robisz: twój jest wyraźnie funkcją samego modelu - nie ma nic wspólnego z danymi - ale zaczynasz mówić, że „dopasowałeś” model do czegoś .

R^{2}

$R^2$

0

$0$

1

$1$

R^{2}

$R^2$

— whuber

Czy twój najlepszy wynik nie zachowuje się tylko wtedy, gdy X1 i X2 są idealnie nieskorelowane?

— gung - Przywróć Monikę

@gung Nie sądzę - dowód u dołu wydaje się potwierdzać, że działa niezależnie. Ten wynik również mnie zaskakuje, dlatego chcę mieć „wyraźny dowód na zrozumienie”

— Korone,

@ whuber Nie jestem pewien, co masz na myśli przez „funkcję samego modelu”? Mam na myśli dla prostego OLS z dwiema zmiennymi predykcyjnymi. To znaczy, że jest to 2 zmienna wersja

R^{2}

$R^2$

R^{2} = C o r (Y, X)^{2}

$R^2 = Cor(Y,X)^2$

— Korone

Nie wiem, czy twoje są parametrami czy szacunkami.

β_{i}

$\beta_i$

— whuber

Odpowiedzi:

Matryca kapeluszowa jest idempotentna.

(Jest to liniowo-algebraiczny sposób stwierdzenia, że OLS jest ortogonalnym rzutem wektora odpowiedzi na przestrzeń rozpiętą przez zmienne.)

Przypomnij sobie to z definicji

R^{2} = \frac{E S S}{T S S}

$R^2 = \frac{ESS}{TSS}$

gdzie

E S S = (\hat{Y})^{'} \hat{Y}

$ESS = (\hat Y)^\prime \hat Y$

jest sumą kwadratów (wyśrodkowanych) przewidywanych wartości i

T S S = Y^{'} Y

$TSS = Y^\prime Y$

jest sumą kwadratów (wyśrodkowanych) wartości odpowiedzi. Implikuje również uprzednia standaryzacja względem wariancji jednostek $Y$

T S S = Y^{'} Y = n .

$TSS = Y^\prime Y = n.$

Przypomnijmy również, że szacunkowe współczynniki są podane przez

\hat{β} = (X^{'} X)^{-} X^{'} Y,

$\hat\beta = (X^\prime X)^{-} X^\prime Y,$

skąd

\hat{Y} = X \hat{β} = X (X^{'} X)^{-} X^{'} Y = H Y

$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$

gdzie jest „matryca hat” dokonywania projekcji na swych najmniejszych kwadratów dopasowania . Jest symetryczny (co wynika z samej jego formy) i idempotentny . Oto dowód tego drugiego dla tych, którzy nie znają tego wyniku. To tylko tasowanie nawiasów wokół: $H$ $Y$ $\hat Y$

\begin{aligned} H^{'} H = H H & = (X (X^{'} X)^{-} X^{'}) (X (X^{'} X)^{-} X^{'}) \\ = X (X^{'} X)^{-} (X^{'} X) (X^{'} X)^{-} X^{'} \\ = X (X^{'} X)^{-} X^{'} = H . \end{aligned}

$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$

W związku z tym

R^{2} = \frac{E S S}{T S S} = \frac{1}{n} (\hat{Y})^{'} \hat{Y} = \frac{1}{n} Y^{'} H^{'} H Y = \frac{1}{n} Y^{'} H Y = (\frac{1}{n} Y^{'} X) \hat{β} .

$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$

Kluczowy ruch w środku wykorzystał idempotencję matrycy kapelusza. Z prawej strony jest magicznych wzór ponieważ jest (wiersz) wektorem współczynników korelacji między i kolumny . $\frac{1}{n}Y^\prime X$ $Y$ $X$

— Whuber
źródło

(+1) Bardzo fajny opis. Ale dlaczego ^{-}zamiast ^{-1}wszędzie?

— ameba

@amoeba Jest to uogólniona odwrotność , umieszczona tam, aby poradzić sobie z przypadkami, w których może być pojedyncza.

X^{'} X

$X^\prime X$

— whuber

@amoeba Penrose, w swoim oryginalnym artykule ( A Generalized Inverse for Matrices , 1954) użył notacji . Nie podoba mi się ani to, ani notacja ponieważ zbyt łatwo można je pomylić z koniugatami, transponuje lub transponuje koniugat, podczas gdy notacja jest tak sugestywna dla odwrotności, że przypadkowy czytelnik może uciec od myślenia to jak jeśli im się podoba. Jesteś zbyt dobrym czytelnikiem - ale dziękuję za uwagę.

A^{†}

$A^\dagger$

A^{+}

$A^{+}$

A^{-}

$A^{-}$

A^{- 1}

$A^{-1}$

— whuber

Ciekawa i przekonująca motywacja, ale czy mogę zapytać, czy notacja ta jest czasem używana gdzie indziej, czy jest to twój własny wynalazek?

— ameba

@amoeba: Tak, notacja ta pojawia się gdzie indziej, w tym w klasycznych tekstach Graybilla na temat modelu liniowego.

— kardynał

Następujące trzy formuły są dobrze znane, można je znaleźć w wielu książkach o regresji liniowej. Nie jest trudno je uzyskać.

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

Jeśli podstawisz dwie bety do równania , otrzymasz powyższy wzór na R-kwadrat. $R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$

Oto geometryczny „wgląd”. Poniżej znajdują się dwa zdjęcia pokazujące regresję przez i . Ten rodzaj reprezentacji jest znany jako zmienne jako wektory w przestrzeni tematycznej ( przeczytaj, o co chodzi). Obrazy są rysowane po wyśrodkowaniu wszystkich trzech zmiennych, a więc (1) długość każdego wektora = st. odchylenie odpowiedniej zmiennej i (2) kąt (jej cosinus) między każdymi dwoma wektorami = korelacja między odpowiednimi zmiennymi. $Y$ $X_1$ $X_2$

wprowadź opis zdjęcia tutaj

$\hat{Y}$ to prognoza regresji (rzut ortogonalny na „płaszczyznę X”); jest terminem błędu; , wielokrotny współczynnik korelacji. $Y$ $e$ $cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$

Lewy obraz przedstawia pochylać współrzędne z na zmiennych i . Wiemy, że takie współrzędne odnoszą się do współczynników regresji. Mianowicie współrzędne to: i . $\hat{Y}$ $X_1$ $X_2$ $b_1|X_1|=b_1\sigma_{X_1}$ $b_2|X_2|=b_2\sigma_{X_2}$

A prawe zdjęcie pokazuje odpowiednie współrzędne prostopadłe . Wiemy, że takie współrzędne odnoszą się do współczynników korelacji zerowego rzędu (są to cosinusy rzutów ortogonalnych). Jeśli jest korelacją między i a jest korelacją między i wówczas współrzędna to . Podobnie dla drugiej współrzędnej, . $r_1$ $Y$ $X_1$ $r_1^*$ $\hat Y$ $X_1$ $r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$ $r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$

Do tej pory były to ogólne wyjaśnienia reprezentacji wektora regresji liniowej. Teraz zwracamy się do zadania, aby pokazać, w jaki sposób może on prowadzić do . $R^2 = r_1 \beta_1 + r_2 \beta_2$

Przede wszystkim przypomnij sobie, że w swoim pytaniu @Corone przedstawił warunek, że wyrażenie jest prawdziwe, gdy wszystkie trzy zmienne są znormalizowane , to znaczy nie tylko wyśrodkowane, ale także skalowane do wariancji 1. Następnie (tj. Sugerując aby być „częściami roboczymi” wektorów) mamy współrzędne równe: ; ; ; ; a także. Przerysuj, w tych warunkach, tylko „płaszczyzna X” powyższych zdjęć: $|X_1|=|X_2|=|Y|=1$ $b_1|X_1|=\beta_1$ $b_2|X_2|=\beta_2$ $r_1|Y|=r_1$ $r_2|Y|=r_2$ $R=|\hat Y|/|Y|=|\hat Y|$

wprowadź opis zdjęcia tutaj

Na zdjęciu mamy parę prostopadłych współrzędnych oraz parę skośnych współrzędnych, z tego samego wektora o długości . Istnieje ogólna zasada uzyskiwania współrzędnych prostopadłych z ukośnych (lub z tyłu): , gdzie jest macierzą prostopadłych; jest matrycą skośną tej samej wielkości; i są symetryczną macierzą kątów (cosinusów) między nieortogonalnymi osiami. $\hat Y$ $R$ $\bf P = S C$ $\bf P$ points X axes $\bf S$ $\bf C$ axes X axes

$X_1$ i są w naszym przypadku osiami, przy czym jest cosinusem między nimi. Zatem i . $X_2$ $r_{12}$ $r_1 = \beta_1 + \beta_2 r_{12}$ $r_2 = \beta_1 r_{12} + \beta_2$

Zastąpić te wyrażony poprzez sw @ corone oświadczeniu , a dostaniesz to , - to prawda , ponieważ dokładnie tak jest wyrażona przekątna równoległoboku (podbarwiona na zdjęciu) poprzez sąsiednie boki (ilość jest iloczynem skalarnym). $r$ $\beta$ $R^2 = r_1 \beta_1 + r_2 \beta_2$ $R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ $\beta_1\beta_2r_{12}$

To samo dotyczy dowolnej liczby predyktorów X. Niestety, niemożliwe jest narysowanie podobnych obrazów za pomocą wielu predyktorów.

— ttnphns
źródło

+1 miło widzieć, że zbudowano go również w ten sposób, ale to nie dodaje tyle wglądu w porównaniu z odpowiedzią

— Whubera

@Corone, dodałem „wgląd”, który możesz wziąć.

— ttnphns

+1 Naprawdę fajne (po aktualizacji). Myślałem, że powoływanie się na „ogólną zasadę” konwersji między współrzędnymi to trochę przesada (i dla mnie było to tylko mylące); aby zobaczyć, że np. wystarczy zapamiętać definicję cosinusa i spojrzeć na jeden z właściwych trójkątów.

r_{1} = β_{1} + β_{2} r_{12}

$r_1 = \beta_1 + \beta_2 r_{12}$

— ameba

Naprawdę fajna edycja, zmiana zaakceptowana.

— Korone