Czy szacunki współczynników regresji są nieskorelowane?

Rozważ prostą regresję (nie zakłada się normalności): gdzie jest ze średnią i odchyleniem standardowym . Są najmniej kwadratowe Szacunki i nieskorelowane?

$$Y_i = a + b X_i + e_i,$$ $e_i$$0$$\sigma$$a$$b$

Jest to ważna kwestia przy projektowaniu eksperymentów, w których pożądane może być brak (lub bardzo mała) korelacja między szacunkami i . Taki brak korelacji można osiągnąć kontrolując wartości .$\hat a$$\hat b$$X_i$

---

Aby przeanalizować wpływ na oszacowania, wartości (które są wektorami rzędów o długości ) są montowane pionowo w macierzy , macierzy projektowej, mają tyle wierszy, ile jest danych i (oczywiście ) dwie kolumny. Odpowiednie są złożone w jeden długi (kolumnowy) wektor . W tych kategoriach, pisząc dla zmontowanych współczynników, model jest$X_i$$(1,X_i)$$2$$X$$Y_i$$y$$\beta = (a,b)^\prime$

$$\mathbb{E}(Y) = X \cdot \beta$$

jest (zazwyczaj) zakłada się niezależnymi zmiennymi losowymi których odchylenia są stałe z nieznanych . Za obserwacje zależne uważa się jedną realizację losowej zmiennej o wartości wektorowej .$Y_i$$\sigma^2$$\sigma \gt 0$$y$$Y$

Rozwiązaniem OLS jest

$$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$$

zakładając, że istnieje odwrotność macierzy. Zatem stosując podstawowe właściwości mnożenia macierzy i kowariancji,

$$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$$

Macierz ma tylko dwa wiersze i dwie kolumny, odpowiadające parametrom modelu . Korelacja z jest proporcjonalny do elementów niediagonalnych które z reguły Cramera są proporcjonalne do iloczyn skalarny dwóch kolumnach . Ponieważ jedna z kolumn ma wszystkie s, a iloczyn iloczynu z drugą kolumną (składającą się z ) jest ich sumą, znajdujemy$\left(X^\prime X\right)^{-1}$$(a,b)$$\hat a$$\hat b$$(X^\prime X)^{-1},$$X$$1$$X_i$

$\hat a$ i są nieskorelowane, jeśli tylko suma (lub równoważnie średnia) wynosi zero.$\hat b$$X_i$

Ten warunek ortogonalności często osiąga się przez recentering się (poprzez odjęcie ich średnią od siebie). Chociaż nie zmieni to szacowanego nachylenia , zmienia szacowany przecięcie . To, czy jest to ważne, zależy od aplikacji.$X_i$$\hat b$$\hat a$

---

Ta analiza dotyczy regresji wielokrotnej: macierz projektowa będzie mieć kolumn dla zmiennych niezależnych (dodatkowa kolumna składa się z s), a będzie wektorem długości , ale w przeciwnym razie wszystko przebiega tak jak poprzednio. $p+1$$p$$1$$\beta$$p+1$

W języku konwencjonalnym dwie kolumny są nazywane ortogonalnymi, gdy ich iloczyn iloczynu wynosi zero. Gdy jedna kolumna (powiedzmy kolumnie ) jest prostopadła do pozostałych kolumnach, to łatwo wykazać algebraiczne, że wszystkie wpisy niediagonalnych w rzędzie i kolumny z są zerowe (to znaczy, komponenty i dla wszystkich są zerowe). W konsekwencji,$X$$X$$i$$i$$i$$(X^\prime X)^{-1}$$ij$$ji$$j\ne i$

Dwa oszacowania współczynnika regresji wielokrotnej i są nieskorelowane, ilekroć jedna (lub obie) odpowiednich kolumn macierzy projektowej są ortogonalne względem wszystkich innych kolumn.$\hat\beta_i$$\hat\beta_j$

Wiele standardowych projektów eksperymentalnych polega na wyborze wartości zmiennych niezależnych, aby kolumny były wzajemnie prostopadłe. To „oddziela” otrzymane szacunki, gwarantując - zanim jakiekolwiek dane zostaną zebrane! - że oszacowania będą nieskorelowane. (Gdy odpowiedzi mają rozkład normalny, oznacza to, że szacunki będą niezależne, co znacznie upraszcza ich interpretację).