Czy istnieje sposób wykorzystania macierzy kowariancji do znalezienia współczynników regresji wielokrotnej?

W przypadku prostej regresji liniowej współczynnik regresji oblicza się bezpośrednio z macierzy wariancji-kowariancji , o gdzie jest indeksem zmiennej zależnej, a e jest indeksem zmiennej objaśniającej.C d , $C$ d

Jeśli ktoś ma tylko macierz kowariancji, czy można obliczyć współczynniki dla modelu z wieloma zmiennymi objaśniającymi?

ETA: W przypadku dwóch zmiennych objaśniających wydaje się, że

Tak, macierz kowariancji wszystkich zmiennych - objaśniająca i odpowiedź - zawiera informacje potrzebne do znalezienia wszystkich współczynników, pod warunkiem, że model przechwytujący (stały) jest uwzględniony w modelu. (Chociaż kowariancje nie podają żadnych informacji na temat stałego terminu, można je znaleźć na podstawie danych).

Analiza

Niech dane dotyczące zmiennych objaśniających być rozmieszczone w -wymiarowych wektory kolumnowe i zmiennej odpowiedzi być kolumna wektor , uważany za wykonanie zmiennej losowej . Zwykłe oszacowania metodą najmniejszych kwadratów współczynników w modelu$n$$x_1, x_2, \ldots, x_p$$y$$Y$$\hat\beta$

są otrzymywane przez złożenie wektorów kolumnowych X 0 = ( 1 , 1 , … , 1 ) ′ , X 1 , … , X p w macierz n × p + 1 X i rozwiązanie układu równań liniowych$p+1$$X_0 = (1, 1, \ldots, 1)^\prime, X_1, \ldots, X_p$$n \times p+1$$X$

Jest to odpowiednik systemu

Eliminacja gaussowska rozwiąże ten system. Prowadzi się ją przylegającą do matrycę $p+1\times p+1$is+1-vector$\frac{1}{n}X^\prime X$$p+1$dotablicyp+1×p+2Ai zmniejszając ją. $\frac{1}{n}X^\prime y$$p+1 \times p+2$$A$

Pierwszym krokiem będzie sprawdzenie . Stwierdzając, że jest to niezerowe, przechodzi do odejmowania odpowiednich wielokrotności pierwszego wierszaAod pozostałych wierszy, aby wyzerować pozostałe wpisy w pierwszej kolumnie. Te wielokrotności będą wynosić$\frac{1}{n}(X^\prime X)_{11} = \frac{1}{n}X_0^\prime X_0 = 1$$A$oraz liczba odjęta od wpisuAi+1,j+1=X ′ i Xjbędzie równa ¯ X i ¯ X j. Jest to po prostu wzór na kowariancjiXíiXj. Ponadto liczba pozostała wpozycjachi+1,p+2wynosi$\frac{1}{n}X_0^\prime X_i = \overline X_i$$A_{i+1,j+1} = X_i^\prime X_j$$\overline X_i \overline X_j$$X_i$$X_j$$i+1, p+2$ , kowariancjaXIzy.$\frac{1}{n}X_i^\prime y - \overline{X_i}\overline{y}$$X_i$$y$

Zatem po pierwszym etapie eliminacji Gaussa układ sprowadza się do rozwiązania

i oczywiście - ponieważ wszystkie współczynniki są kowariancjami - to rozwiązanie można znaleźć na podstawie macierzy kowariancji wszystkich zmiennych.

(Gdy jest odwracalna roztwór może być napisany C - 1 ( Cov ( X ı , y ) ) " . Formuły zawarte w kwestii szczególne przypadki to, gdy p = 1 , a p = 2 wypisywanie takich preparatów wyraźnie będzie. stają się coraz bardziej złożone w miarę wzrostu p . Co więcej, są gorsze w obliczeniach numerycznych, co najlepiej przeprowadzić przez rozwiązanie układu równań niż przez odwrócenie macierzy C. )$C$$C^{-1}(\text{Cov}(X_i, y))^\prime$$p=1$$p=2$$p$$C$

Stała termin będzie różnica pomiędzy średnią z i średnie wartości przewidywanych z szacunków, X p .$y$$X\hat{\beta}$

Przykład

Aby to zilustrować, poniższy Rkod tworzy niektóre dane, oblicza ich kowariancje i uzyskuje oszacowania współczynnika najmniejszych kwadratów wyłącznie na podstawie tych informacji. Porównuje je z oszacowaniami uzyskanymi z estymatora najmniejszych kwadratów lm.

#
# 1. Generate some data.
#
n <- 10        # Data set size
p <- 2         # Number of regressors
set.seed(17)
z <- matrix(rnorm(n*(p+1)), nrow=n, dimnames=list(NULL, paste0("x", 1:(p+1))))
y <- z[, p+1]
x <- z[, -(p+1), drop=FALSE]; 
#
# 2. Find the OLS coefficients from the covariances only.
#
a <- cov(x)
b <- cov(x,y)
beta.hat <- solve(a, b)[, 1]  # Coefficients from the covariance matrix
#
# 2a. Find the intercept from the means and coefficients.
#
y.bar <- mean(y)
x.bar <- colMeans(x)
intercept <- y.bar - x.bar %*% beta.hat  

Dane wyjściowe pokazują zgodność między dwiema metodami:

(rbind(`From covariances` = c(`(Intercept)`=intercept, beta.hat),
       `From data via OLS` = coef(lm(y ~ x))))

                  (Intercept)        x1        x2
From covariances     0.946155 -0.424551 -1.006675
From data via OLS    0.946155 -0.424551 -1.006675