Tak, macierz kowariancji wszystkich zmiennych - objaśniająca i odpowiedź - zawiera informacje potrzebne do znalezienia wszystkich współczynników, pod warunkiem, że model przechwytujący (stały) jest uwzględniony w modelu. (Chociaż kowariancje nie podają żadnych informacji na temat stałego terminu, można je znaleźć na podstawie danych).
Analiza
Niech dane dotyczące zmiennych objaśniających być rozmieszczone w -wymiarowych wektory kolumnowe i zmiennej odpowiedzi być kolumna wektor , uważany za wykonanie zmiennej losowej . Zwykłe oszacowania metodą najmniejszych kwadratów współczynników w modelunx1,x2,…,xpyYβ^
E(Y)=α+Xβ
są otrzymywane przez złożenie wektorów kolumnowych X 0 = ( 1 , 1 , … , 1 ) ′ , X 1 , … , X p w macierz n × p + 1 X i rozwiązanie układu równań liniowychp+1X0=(1,1,…,1)′,X1,…,Xpn×p+1X
X′Xβ^=X′y.
Jest to odpowiednik systemu
1nX′Xβ^=1nX′y.
Eliminacja gaussowska rozwiąże ten system. Prowadzi się ją przylegającą do matrycę 1p+1×p+1is+1-vector11nX′Xp+1dotablicyp+1×p+2Ai zmniejszając ją. 1nX′yp+1×p+2A
Pierwszym krokiem będzie sprawdzenie . Stwierdzając, że jest to niezerowe, przechodzi do odejmowania odpowiednich wielokrotności pierwszego wierszaAod pozostałych wierszy, aby wyzerować pozostałe wpisy w pierwszej kolumnie. Te wielokrotności będą wynosić11n(X′X)11=1nX′0X0=1Aoraz liczba odjęta od wpisuAi+1,j+1=X ′ i Xjbędzie równa ¯ X i ¯ X j. Jest to po prostu wzór na kowariancjiXíiXj. Ponadto liczba pozostała wpozycjachi+1,p+2wynosi11nX′0Xi=X¯¯¯¯iAi+1,j+1=X′iXjX¯¯¯¯iX¯¯¯¯jXiXji+1,p+2 , kowariancjaXIzy.1nX′iy−Xi¯¯¯¯¯¯y¯¯¯Xiy
Zatem po pierwszym etapie eliminacji Gaussa układ sprowadza się do rozwiązania
Cβ^=(Cov(Xi,y))′
i oczywiście - ponieważ wszystkie współczynniki są kowariancjami - to rozwiązanie można znaleźć na podstawie macierzy kowariancji wszystkich zmiennych.
(Gdy jest odwracalna roztwór może być napisany C - 1 ( Cov ( X ı , y ) ) " . Formuły zawarte w kwestii szczególne przypadki to, gdy p = 1 , a p = 2 wypisywanie takich preparatów wyraźnie będzie. stają się coraz bardziej złożone w miarę wzrostu p . Co więcej, są gorsze w obliczeniach numerycznych, co najlepiej przeprowadzić przez rozwiązanie układu równań niż przez odwrócenie macierzy C. )CC−1(Cov(Xi,y))′p=1p=2pC
Stała termin będzie różnica pomiędzy średnią z i średnie wartości przewidywanych z szacunków, X p .yXβ^
Przykład
Aby to zilustrować, poniższy R
kod tworzy niektóre dane, oblicza ich kowariancje i uzyskuje oszacowania współczynnika najmniejszych kwadratów wyłącznie na podstawie tych informacji. Porównuje je z oszacowaniami uzyskanymi z estymatora najmniejszych kwadratów lm
.
#
# 1. Generate some data.
#
n <- 10 # Data set size
p <- 2 # Number of regressors
set.seed(17)
z <- matrix(rnorm(n*(p+1)), nrow=n, dimnames=list(NULL, paste0("x", 1:(p+1))))
y <- z[, p+1]
x <- z[, -(p+1), drop=FALSE];
#
# 2. Find the OLS coefficients from the covariances only.
#
a <- cov(x)
b <- cov(x,y)
beta.hat <- solve(a, b)[, 1] # Coefficients from the covariance matrix
#
# 2a. Find the intercept from the means and coefficients.
#
y.bar <- mean(y)
x.bar <- colMeans(x)
intercept <- y.bar - x.bar %*% beta.hat
Dane wyjściowe pokazują zgodność między dwiema metodami:
(rbind(`From covariances` = c(`(Intercept)`=intercept, beta.hat),
`From data via OLS` = coef(lm(y ~ x))))
(Intercept) x1 x2
From covariances 0.946155 -0.424551 -1.006675
From data via OLS 0.946155 -0.424551 -1.006675