Regresja wielokrotna czy współczynnik korelacji częściowej? I relacje między nimi

Nie wiem nawet, czy to pytanie ma sens, ale jaka jest różnica między regresją wielokrotną a korelacją częściową (oprócz oczywistych różnic między korelacją a regresją, do czego nie dążę)?

Chcę dowiedzieć się, co następuje:
Mam dwie zmienne niezależne ( , ) i jedną zmienną zależną ( ). Teraz indywidualnie zmienne niezależne nie są skorelowane ze zmienną zależną. Ale dla danego maleje, gdy maleje. Czy analizuję to za pomocą regresji wielokrotnej lub częściowej korelacji ?$x_1$$x_2$$y$$x_1$ $y$$x_2$

edytuj, aby, mam nadzieję, poprawić moje pytanie: Próbuję zrozumieć różnicę między regresją wielokrotną a korelacją częściową. Tak więc, kiedy zmniejsza się dla danego gdy maleje, to czy wynika to z połączonego wpływu i na (regresja wielokrotna) czy jest to spowodowane usunięciem efektu (częściowa korelacja)?$y$$x_1$$x_2$$x_1$$x_2$$y$$x_1$

Wielokrotny współczynnik regresji liniowej i korelacja częściowa są bezpośrednio powiązane i mają takie samo znaczenie (wartość p). Częściowe r jest po prostu innym sposobem standaryzacji współczynnika, wraz ze współczynnikiem beta (znormalizowany współczynnik regresji) . Zatem jeśli zmienną zależną jest a niezależnymi są i to$^1$$y$$x_1$$x_2$

$$\text{Beta:} \quad \beta_{x_1} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{1-r_{x_1x_2}^2}$$

$$\text{Partial r:} \quad r_{yx_1.x_2} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{\sqrt{ (1-r_{yx_2}^2)(1-r_{x_1x_2}^2) }}$$

Widać, że liczniki są takie same, które mówią, że oba wzory mierzyć ten sam niepowtarzalny efekt z . Spróbuję wyjaśnić, w jaki sposób te dwie formuły są strukturalnie identyczne i jak nie są.$x_1$

Załóżmy, że znormalizowałeś (średnia 0, wariancja 1) wszystkie trzy zmienne. Licznik jest zatem równa kowariancji dwóch rodzajów reszt : z (a) pozostawiać resztki w przewidywaniu przez [obie zmienne standard] i (b) pozostałości pozostawione w przewidywaniu przez [obie zmienne standard]. Ponadto wariancja reszt (a) wynosi ; wariancja reszt (b) wynosi .$y$$x_2$$x_1$$x_2$$1-r_{yx_2}^2$$1-r_{x_1x_2}^2$

Wzór na korelację częściową pojawia się wtedy wyraźnie wzór zwykłego Pearsona , obliczony w tym przypadku między resztami (a) i resztami (b): wiemy, że Pearson jest kowariancją podzieloną przez mianownik, który jest średnią geometryczną dwie różne warianty.$r$$r$

Znormalizowany współczynnik beta jest strukturalnie podobny do Pearsona , tyle że mianownik jest średnią geometryczną wariancji z własnym ja . Wariancja reszt (a) nie została zliczona; zostało zastąpione przez drugie zliczanie wariancji reszt (b). Beta jest zatem kowariancją dwóch reszt względem względnej wariancji jednej z nich (konkretnie tej odnoszącej się do predyktora zainteresowania, ). Chociaż częściowa korelacja, jak już zauważono, to ta sama kowariancja w stosunku do ich wariancji hybrydowej . Oba typy współczynników są sposobami na ujednolicenie efektu w środowisku innych predyktorów.$r$$x_1$$x_1$

Niektóre liczbowe konsekwencje różnicy. Jeśli R-kwadrat wielokrotnej regresji przez i będzie 1, wówczas obie częściowe korelacje predyktorów z zależną będą również równe 1 wartości bezwzględnej (ale beta na ogół nie będzie 1). W rzeczywistości, jak wspomniano, jest korelacja między resztek i resztek . Jeśli to, co nie jest w jest dokładnie tym , co nie jest w to nie ma nic w co nie ani ani$y$$x_1$$x_2$$r_{yx_1.x_2}$y <- x2x1 <- x2$x_2$$y$ $x_2$$x_1$$y$$x_1$$x_2$ : pełne dopasowanie. Jakakolwiek jest ilość niewyjaśnionej (przez ) części pozostawionej w ( ), jeśli jest ona przechwycona stosunkowo wysoko przez niezależną część (przez ), będzie wysoki. Z drugiej strony będzie wysoki tylko pod warunkiem, że uchwycona niewyjaśniona część jest sama w sobie znaczną częścią .$x_2$$y$$1-r_{yx_2}^2$$x_1$$1-r_{x_1x_2}^2$$r_{yx_1.x_2}$$\beta_{x_1}$$y$$y$

---

Z powyższych wzorów uzyskuje się (i rozciągając od regresji 2-predyktorowej do regresji z dowolną liczbą predyktorów ) wzór konwersji między beta i odpowiadającym jej częściowym r:$x_1,x_2,x_3,...$

$$r_{yx_1.X} = \beta_{x_1} \sqrt{ \frac {\text{var} (e_{x_1 \leftarrow X})} {\text{var} (e_{y \leftarrow X})}},$$

gdzie oznacza zbiór wszystkich predyktorów oprócz bieżącego ( ); to reszty z regresji przez , a to reszty z regresji przez , zmienne w obu tych regresjach wprowadzają je znormalizowane .$X$$x_1$$e_{y \leftarrow X}$$y$$X$$e_{x_1 \leftarrow X}$$x_1$$X$

Uwaga: jeśli musimy obliczyć częściowe korelacje z każdym predyktorem , zwykle nie będziemy używać tej formuły wymagającej wykonania dwóch dodatkowych regresji. Zamiast tego zostaną wykonane operacje przeszukiwania (często stosowane w algorytmach regresji stopniowej i wszystkich podzbiorach) lub obliczona zostanie macierz korelacji antyobrazowej.$y$$x$

---

$^1$ $\beta_{x_1} = b_{x_1} \frac {\sigma_{x_1}}{\sigma_y}$ to relacja między surowym a standardowymi współczynnikami regresji z przechwyceniem.$b$$\beta$

Przypadkiem wpadłem na ten bieżnik. W pierwotnej odpowiedzi we wzorze na brakuje czynnika , czyli gdzie i .$\beta_{x_1}$$\sqrt{SSY/SSX_1}$

$$\beta_{x_1} = \frac{r_{yx_1} - r_{y x_2} ~r_{x_1 x_2}} {1-r^2_{x_1 x_2}} \times \sqrt{\frac{SSY}{SSX_1}},$$ $SSY=\sum_i (y_i-\bar y)^2$$SSX_1 = \sum_i {(x_{1i} - \bar{x}_1)^2}$