Uogólnione najmniejsze kwadraty: od współczynników regresji do współczynników korelacji?

Przynajmniej kwadraty z jednym predyktorem:

$y = \beta x + \epsilon$

Jeśli i są znormalizowane przed montażem (tj ), a następnie:y ∼ N ( 0 , 1 $x$$y$$\sim N(0,1)$

• $\beta$ jest taki sam jak współczynnik korelacji Pearsona, .$r$
• x = β y + $\beta$ jest taki sam w odzwierciedlonej regresji:$x = \beta y + \epsilon$

Czy to samo dotyczy uogólnionych metod najmniejszych kwadratów (GLS)? To znaczy, jeśli znormalizuję swoje dane, czy mogę uzyskać współczynniki korelacji bezpośrednio ze współczynników regresji?

Po eksperymentowaniu z danymi odzwierciedlony GLS prowadzi do różnych współczynników a także nie jestem pewien, czy uważam, że współczynniki regresji pasują do moich oczekiwanych wartości korelacji. Wiem, że ludzie cytują współczynniki korelacji GLS, więc zastanawiam się, w jaki sposób do nich docierają, a więc co naprawdę oznaczają?$\beta$

Odpowiedź brzmi: tak, współczynniki regresji liniowej są korelacjami predyktorów z odpowiedzią, ale tylko przy zastosowaniu prawidłowego układu współrzędnych .

$x_1, x_2, \ldots, x_n$$y$$x_i$$y$$x_i^t y$

$$\beta = (X^t X)^{-1} X^t y$$

Jeśli tak się dzieje, że (macierz tożsamości), to$X^{t} X = I$

$$\beta = X^t y$$

i odzyskujemy wektor korelacji. Często atrakcyjne jest przekształcenie problemu regresji w kategoriach predyktorów które spełniają , znajdując odpowiednie liniowe kombinacje oryginalnych predyktorów, które sprawiają, że ta relacja jest prawdziwa ( lub równoważnie, liniowa zmiana współrzędnych); te nowe predyktory nazywane są głównymi składnikami. ˜ X t ˜ X =$\tilde{x}_i$$\tilde{X}^t \tilde{X} = I$

Ogólnie rzecz biorąc, odpowiedź na twoje pytanie brzmi „ tak”, ale tylko wtedy, gdy same predyktory są nieskorelowane . W przeciwnym razie wyrażenie

$$X^t X \beta = X^t y$$

pokazuje, że bety należy mieszać z korelacjami między samymi predyktorami, aby odzyskać korelacje między predyktorem a odpowiedzią.

Na marginesie wyjaśnia to również, dlaczego wynik jest zawsze prawdziwy dla jednej zmiennej regresji liniowej. Po znormalizowaniu wektora predykcyjnego :$x$

$$x_0^t x = \sum_i x_{i} = 0$$

gdzie jest wektorem przechwytującym wszystkich. Tak więc (dwukolumnowa) macierz danych automatycznie spełnia , a wynik jest następujący. X X t X = $x_0$$X$$X^t X = I$