Czy do oszacowania można zastosować znormalizowane współczynniki w regresji liniowej ?

Próbuję zinterpretować wyniki artykułu, w którym zastosowali regresję wielokrotną, aby przewidzieć różne wyniki. Jednak (standardowe współczynniki B zdefiniowane jako gdzie jest zależne zmienna, a jest predyktorem) zgłoszone wydają się nie pasować do zgłoszonego : $\beta$ $\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}$ $y$ $x_1$ $R^2$

Pomimo wynoszących -0,83, -0,29, -0,16, -0,43, 0,25 i -0,29, zgłaszane wynosi tylko 0,20. $\beta$ $R^2$

Ponadto trzy predyktory: waga, BMI i% tłuszczu są wieloliniowe, skorelowane wokół r = 0,8-0,9 ze sobą w obrębie płci.

Czy wartość jest prawdopodobna dla tych , czy też nie ma prostej zależności między i ? $R^2$ $\beta$ $\beta$ $R^2$

Dodatkowo, czy problemy z wielokoliniowymi predyktorami mogą wpływać na czwartego predyktora (VO2max), który jest skorelowany wokół r = 0,4 z wyżej wymienionymi trzema zmiennymi? $\beta$

— Sakari Jukarainen
źródło

Co to jest w tym kontekście? Współczynnik beta (regresja standaryzowana)? Albo coś innego? Jeśli tak, to tak naprawdę nie można nic powiedzieć, a jedyną interpretacją jest odchylenie standardowe. Fakt, że współczynnik oznacza duży wpływ, nie oznacza wysoki wartości

β

$\beta$

R^{2}

$R^2$

— Repmat

ß oznacza znormalizowane współczynniki b. Dla 1 przypadku predykcyjnego ß jest równe r Pearsona, który jest bezpośrednio związany z kwadratem R, jednak w tym przypadku wielowymiarowym dlaczego wysokie ß nie implikują wysokiego kwadratu R?

— Sakari Jukarainen

Nie, w jednym przypadku regresora nie jest równe korelacji Pearsona: . Zależność między i nie jest tak prosta.

β

$\beta$

β = \frac{Cov (y, x)}{Var (x)} \neq \frac{Cov (y, x)}{\sqrt{Var (y) \times Var (x)}} = ρ (y, x)

$\beta=\frac{\text{Cov}(y,x)}{\text{Var}(x)}\neq\frac{\text{Cov}(y,x)}{ \sqrt{ \text{Var}(y)\times\text{Var}(x) } }=\rho(y,x)$

β

$\beta$

R^{2}

$R^2$

— Richard Hardy

@RichardHardy Podejrzewam, że zamieszanie polega na tym, że Sakari zdefiniowała jako standaryzowany współczynnik regresji. W dwuwymiarowym regresji liniowej współczynnik regresji ( w notacji sakari'S) jest , gdzie jest korelacja i odchylenie standardowe. Aby ustandaryzować współczynnik regresji, dzielimy współczynnik ze standardowym odchyleniem i mnożymy przez to standardowe odchylenie , więc pozostaje tylko korelacja. Więc Sakari ma rację.

β

$\beta$

b

$b$

r_{x y} \frac{s_{y}}{s_{x}}

$r_{xy}\frac{s_y}{s_x}$

r

$r$

s

$s$

y

$y$

x

$x$

— Maarten Buis,

Nadal nie rozumiem, dlaczego uważasz, że to źle? Jeśli w dokumencie są statystyki podsumowujące, możesz po prostu sprawdzić, czy liczby się sumują. Podałeś nawet formułę, aby to zrobić. Nie można dojść do wniosku, po prostu dlatego, że efekty są duże w nieprzyzwoity sposób, że modele wykonują dobrą robotę, tłumacząc wariancję y.

— Repmat

Interpretacja geometryczna zwykłej regresji najmniejszych kwadratów daje wymaganą zrozumienia.

Większość tego, co musimy wiedzieć, można zobaczyć w przypadku dwóch regresorów i z odpowiedzią . W standaryzowane współczynniki, lub „beta”, pojawiają się, gdy wszystkie trzy wektory są standaryzowane do wspólnej długości (które możemy podjąć, aby być jedność). Zatem i są wektorami jednostkowymi w płaszczyźnie znajdują się na okręgu jednostkowym - a jest wektorem jednostkowym w trójwymiarowej przestrzeni euklidesowej zawierającej tę płaszczyznę. Dopasowana wartość jest rzutem prostopadłym (prostopadłym) na . Ponieważ $x_1$ $x_2$ $y$ $x_1$ $x_2$ $E^2$ $y$ $E^3$ $\hat y$ $y$ $E^2$ $R^2$ po prostu jest kwadratową długością , nie musimy nawet wizualizować wszystkich trzech wymiarów: wszystkie potrzebne informacje można narysować w tej płaszczyźnie. $\hat y$

Regresory ortogonalne

Najładniejsza sytuacja jest wtedy, gdy regresory są ortogonalne, jak na pierwszej figurze.

$Rycina 1, pokazująca regresory i $ \ hat y $ jako wektory w płaszczyźnie.$

Na tej i pozostałych figurach będę konsekwentnie rysował dysk jednostki na biało, a regresory jako czarne strzałki. zawsze będzie wskazywać bezpośrednio w prawo. Grube czerwone strzałki przedstawiają elementy w kierunkach i : to znaczy i . Długość to promień szarego koła, na którym leży - pamiętaj jednak, że jest $x_1$ $\hat y$ $x_1$ $x_2$ $\beta_1 x_1$ $\beta_2 x_2$ $\hat y$ $R^2$ kwadratem tej długości.

Pitagorasa twierdzi

R^{2} = | \hat{y} |^{2} = | β_{1} x_{1} |^{2} + | β_{2} x_{2} |^{2} = β_{1}^{2} (1) + β_{2}^{2} (1) = β_{1}^{2} + β_{2}^{2} .

$R^2 = |\hat y|^2 = |\beta_1 x_1|^2 + |\beta_2 x_2|^2 = \beta_1^2(1)+\beta_2^2(1) = \beta_1^2 + \beta_2^2.$

Ponieważ twierdzenie Pitagorasa ma dowolną liczbę wymiarów, rozumowanie to uogólnia się na dowolną liczbę regresorów, dając pierwszy wynik:

Gdy regresory są ortogonalne, równa się sumie kwadratów bet. $R^2$

Bezpośrednim następstwem jest to, że gdy występuje tylko jeden regresor - regresja jednoczynnikowa - jest kwadratem znormalizowanego nachylenia. $R^2$

Współzależny

Regresory ujemnie skorelowane spotykają się pod kątami większymi niż kąt prosty.

Na tym obrazie widać wizualnie, że suma kwadratów bety jest ściśle większa niż . Można to udowodnić algebraicznie, stosując Prawo Cosinusów lub pracując z macierzowym rozwiązaniem równań normalnych. $R^2$

Ustawiając dwa regresory prawie równolegle, możemy ustawić pobliżu początku (dla blisko ), podczas gdy nadal będzie on miał duże komponenty w kierunku i . Zatem nie ma ograniczeń co do tego, jak małe mogą być . $\hat y$ $R^2$ $0$ $x_1$ $x_2$ $R^2$

Wspomnijmy ten oczywisty wynik, naszą drugą ogólność:

Gdy regresory są skorelowane, może być dowolnie mniejsze niż suma kwadratów bet. $R^2$

Nie jest to jednak relacja uniwersalna, jak pokazuje następny rysunek.

Teraz ściśle przekracza sumę kwadratów bet. Poprzez sporządzenie dwóch regresorów blisko siebie i utrzymywanie pomiędzy nimi, możemy dokonać wartości beta zarówno podejścia , nawet wtedy, gdy znajduje się w pobliżu . Dalsza analiza może wymagać pewnej algebry: poniżej zajmę się tym. $R^2$ $\hat y$ $1/2$ $R^2$ $1$

Pozostawiam twojej wyobraźni skonstruowanie podobnych przykładów z dodatnio skorelowanymi regresorami, które w ten sposób spotykają się pod ostrymi kątami.

Zauważ, że te wnioski są niepełne: istnieją ograniczenia dotyczące tego, o ile mniej można porównać do sumy kwadratów bet. W szczególności, uważnie analizując możliwości, możesz dojść do wniosku (w przypadku regresji z dwoma regresorami), że $R^2$

Gdy regresory są dodatnio skorelowane, a beta mają wspólny znak, lub gdy regresory są ujemnie skorelowane, a bety mają różne znaki, musi być co najmniej tak duże, jak suma kwadratów bety. $R^2$

Wyniki algebraiczne

Ogólnie rzecz biorąc, niech regresorami będą (wektory kolumnowe) a odpowiedź będzie . Środki normalizacyjne (a) każdy jest prostopadły do wektora i (b) mają długości jednostkowe: $x_1, x_2, \ldots, x_p$ $y$ $(1,1,\ldots,1)^\prime$

| x_{i} |^{2} = | y |^{2} = 1.

$|x_i|^2 = |y|^2 = 1.$

Zmontowania wektory kolumnowe do w macierzy . Implikują to zasady mnożenia macierzy $x_i$ $n\times p$ $X$

Σ = X^{'} X

$\Sigma = X^\prime X$

jest macierzą korelacji . Betę podaje równanie normalne, $x_i$

β = (X^{'} X)^{- 1} X^{'} y = Σ^{- 1} (X^{'} y) .

$\beta = (X^\prime X)^{-1} X^\prime y = \Sigma^{-1} (X^\prime y).$

Co więcej, z definicji dopasowanie jest

\hat{y} = X β = X (Σ^{- 1} X^{'} y) .

$\hat y = X \beta = X (\Sigma ^{-1} X^\prime y).$

Jego kwadratowa długość daje z definicji : $R^2$

R^{2} = | \hat{y} |^{2} = {\hat{y}}^{'} \hat{y} = (X β)^{'} (X β) = β^{'} (X^{'} X) β = β^{'} Σ β .

$R^2 = |\hat y|^2 = \hat y^\prime \hat y = (X\beta)^\prime (X\beta) = \beta^\prime (X^\prime X)\beta = \beta^\prime \Sigma\beta.$

Analiza geometryczna sugeruje, że szukamy nierówności dotyczących i sumy kwadratów bet, $R^2$

\sum_{i = 1}^{p} β_{i}^{2} = β^{'} β .

$\sum_{i=1}^p \beta_i^2 = \beta^\prime \beta.$

normą każdej macierzy jest sumą podniesionych do kwadratu jego współczynników (zasadniczo obróbkę matrycy w postaci wektora elementów w przestrzeni euklidesowej) $L_2$ $A$ $p^2$

| A |_{2}^{2} = \sum_{i, j} a_{i j}^{2} = tr (A^{'} A) = tr (A A^{'}) .

$|A|_2^2 = \sum_{i,j} a_{ij}^2 = \operatorname{tr}(A^\prime A) = \operatorname{tr}(AA^\prime).$

Implikuje to nierówność Cauchy'ego-Schwarza

R^{2} = tr (R^{2}) = tr (β^{'} Σ β) = tr (Σ β β^{'}) \leq | Σ |_{2} | β β^{'} |_{2} = | Σ |_{2} β^{'} β .

$R^2 = \operatorname{tr}(R^2) = \operatorname{tr}(\beta^\prime \Sigma \beta) = \operatorname{tr}(\Sigma \beta \beta^\prime) \le |\Sigma|_2 | \beta\beta^\prime|_2 = |\Sigma|_2 \beta^\prime \beta.$

Ponieważ współczynniki korelacji do kwadratu nie mogą przekraczać a jest ich tylko w macierzy matrix , nie może przekraczać . W związku z tym $1$ $p^2$ $p\times p$ $\Sigma$ $|\Sigma|_2$ $\sqrt{1\times p^2} = p$

R^{2} \leq p β^{'} β .

$R^2 \le p\, \beta^\prime \beta.$

Nierówność jest osiągana, na przykład, gdy wszystkie są doskonale pozytywnie skorelowane. $x_i$

Istnieje górna granica tego, jak duże mogą być . Jego średnia wartość na regresor, , nie może przekraczać sumy kwadratów znormalizowanych współczynników. $R^2$ $R^2/p$

Wnioski

Co możemy ogólnie wnioskować? Oczywiście informacje o strukturze korelacji regresorów, a także znaki bety, mogą być wykorzystane albo do ograniczenia możliwych wartości albo nawet do ich dokładnego obliczenia. Bez tej pełnej informacji niewiele można powiedzieć poza oczywistym faktem, że gdy regresory są liniowo niezależne, pojedyncza niezerowa beta oznacza, że jest niezerowe, co oznacza, że jest niezerowa. $R^2$ $\hat y$ $R^2$

Jedną rzeczą, którą możemy zdecydowanie wywnioskować z danych wyjściowych w pytaniu, jest to, że dane są skorelowane: ponieważ suma kwadratów , równa , przekracza maksymalną możliwą wartość (a mianowicie ), muszą być pewne korelacja. $1.1301$ $R^2$ $1$

Inną rzeczą jest to, że ponieważ największa beta (pod względem wielkości) ma wartość , której kwadrat wynosi znacznie przekraczając podaną wartość wynoszącą możemy stwierdzić, że niektóre regresory muszą być skorelowane ujemnie. (W rzeczywistości jest prawdopodobnie silnie ujemnie skorelowane z wiekiem, wagą i tłuszczem w każdej próbce, która obejmuje szeroki zakres wartości tego ostatniego.) $-0.83$ $0.69$ $R^2$ $0.20$ $\text{VO}_{2\,\text{max}}$

Gdyby były tylko dwa regresory, moglibyśmy wywnioskować znacznie więcej o ze znajomości wysokich korelacji regresora i kontroli bet, ponieważ to pozwoliłoby nam narysować dokładny szkic tego, jak , i musi być położony. Niestety dodatkowe regresory w tym sześciozmiennym problemie znacznie komplikują sytuację. Analizując dowolne dwie zmienne, musimy „wyjąć” lub „kontrolować” pozostałe cztery regresory („zmienne towarzyszące”). W ten sposób skracamy wszystkie , i $R^2$ $x_1$ $x_2$ $\hat y$ $x_1$ $x_2$ $y$ w nieznanych ilościach (w zależności od tego, jak wszystkie trzy są powiązane ze zmiennymi towarzyszącymi), pozostawiając nam prawie nic nie wiedząc o rzeczywistych rozmiarach wektorów, z którymi pracujemy.

— Whuber
źródło

+1, ale nie rozumiem, dlaczego w przypadku nieortogonalnym wektor prostopadły do osi predyktora, a nie sprawia, że rzutowane linie przerywane przebiegają równolegle do drugiego predyktora. Brzmi to nieporęcznie, ale myślę, że zrozumiecie, co mam na myśli. Twoje „Projekcje” (dwie mniejsze czerwone wektory) nie niektórzy je, aby uzyskać duży czerwony wektor.

\hat{y}

$\hat y$

\hat{y}

$\hat y$

— ameba

@amoeba Masz całkowitą rację. Zbyt pochopnie tworzyłem te obrazy! Będę (mam nadzieję, że tymczasowo) usunąć ten post, dopóki nie będę miał okazji naprawić problemu. Dziękujemy za zwrócenie na to uwagi.

— whuber

@Amoeba Poprawiłem zdjęcia i zmodyfikowałem analizę, aby je dopasować. Chociaż szczegóły uległy zasadniczej zmianie, wnioski pozostają takie same.

— whuber

@amoeba Znowu masz rację. Z pewnym ryzykiem utraty zainteresowanych czytelników, ale teraz czuję się zmuszony do kwantyfikacji intuicji geometrycznej, zaostrzyłem ten wniosek i uzasadniłem go odrobiną algebry. (Ufam, że algebra jest poprawna!)

— whuber

Wielkie dzięki! W skrócie, VO2max jest ujemnie skorelowane z wagą i BMI, ponieważ są one związane z wyższą beztłuszczową masą ciała. We wspomnianej tabeli VO2max faktycznie odpowiada VO2max podzielonemu przez wagę (co jest złym sposobem skalowania VO2max do wielkości ciała). VO2max / waga w tabeli jest ujemnie skorelowana ze wszystkimi innymi predyktorami, z wyjątkiem płci, co może wyjaśniać wysokie ß, ale niskie R-kwadrat, jak wspomniałeś.

— Sakari Jukarainen,