Macierz wariancji-kowariancji błędów w regresji liniowej

12

Jak w praktyce obliczana jest macierz błędów var / cov za pomocą pakietów analizy statystycznej?

Ten pomysł jest dla mnie jasny w teorii. Ale nie w praktyce. Mam na myśli, że jeśli mam wektor zmiennych losowych , rozumiem, że macierz wariancji / kowariancji otrzyma zewnętrzny iloczyn odchylenia od-od- średnie wektory: . $\textbf{X}=(X_{1}, X_{2}, \ldots, X_{n})^\top$ $\Sigma$ $\Sigma=\mathrm{E}\left[(\textbf{X}-\mathrm{E}(\textbf{X}))(\textbf{X}-\mathrm{E}(\textbf{X}))^\top\right]$

Ale kiedy mam próbkę, błędy moich obserwacji nie są zmiennymi losowymi. Albo lepiej, są, ale tylko jeśli pobiorę pewną liczbę identycznych próbek z tej samej populacji. W przeciwnym razie są podane. Ponownie moje pytanie brzmi: w jaki sposób pakiet statystyczny może wytworzyć macierz var / cov, zaczynając od listy obserwacji (tj. Próbki) dostarczonej przez badacza?

— Riccardo
źródło

Błędy twoich obserwacji są funkcją zmiennych losowych (y) i dlatego same są losowe. Pod warunkiem, że sam X nie są podane.

— user603

1

Tak, w pełni się z tym zgadzam. Ale to, co mówisz, działa w teorii. Jeśli narysuję, powiedzmy, 100 losowych próbek o tej samej wielkości z tej samej populacji, każdy błąd obserwacji będzie zmienną losową o (0, sigma ^ 2). Co jeśli zamiast tego narysuję tylko jedną próbkę? W takim przypadku średnią błędu każdej obserwacji jest sam błąd. Czy to jasne, co mówię? Więc próbuję zrozumieć, w jaki sposób pakiet taki jak Stata oblicza macierz wariancji-kowariancji przy użyciu tylko jednej próbki pobranej z populacji?

— Riccardo

7

Macierz kowariancji dla modelu typu jest zwykle obliczana jako $y = X\beta + \epsilon$ gdzieresztowa suma kwadratóworazjest stopni swobody (zazwyczaj liczba obserwacji minus liczba parametrów).

(X^{t} X)^{- 1} \frac{σ^{2}}{d}

$(X^t X)^{-1}\frac{\sigma^2}{d}$

σ^{2}

$\sigma^2$

σ^{2} = \sum_{i} (y_{i} - X_{i} \hat{β})^{2}

$\sigma^2=\sum_i (y_i - X_i\hat\beta)^2$

d

$d$

W przypadku solidnych i / lub klastrowanych błędów standardowych, produkt jest nieznacznie zmodyfikowany. Mogą istnieć również inne sposoby obliczania macierzy kowariancji, np. Sugerowane przez oczekiwanie na produkty zewnętrzne. $X^t X$

— Simen Gaure
źródło

3

Oszacowanie wariancji błędu przez OLS , : $\sigma^2$

s^{2} = \frac{{\hat{ε}}^{⊤} \hat{ε}}{n - p}

$s^2=\frac{\hat \varepsilon^\top\hat \varepsilon}{n-p}$

Jest to uwzględnione w Regresji praktycznej i Anovie przy użyciu R. Juliana J. Faraway'a, strona 21 .

Przykład obliczeń w badania, w oparciu o model liniowy mil na galon regresji na wielu modelach samochodów specyfikacji zawartych w mtcarsbazie danych: ols = lm(mpg ~ disp + drat + wt, mtcars). Są to obliczenia ręczne i dane wyjściowe lm()funkcji:

> rdf = nrow(X) - ncol(X)                    # Residual degrees of freedom
> s.sq = as.vector((t(ols$residuals) %*% ols$residuals) / rdf) 
>                                            # s square (OLS estimate of sigma square)
> (sigma = sqrt(s.sq))                       # Residual standar error
[1] 2.950507
> summary(ols)

Call:
lm(formula = mpg ~ disp + drat + wt, data = mtcars)
...
Residual standard error: 2.951 on 28 degrees of freedom

$\hat \beta$

V a r [\hat{β} ∣ X] = σ^{2} {(X^{⊤} X)}^{- 1}

$\mathrm{Var}\left[\hat \beta \mid X \right] =\sigma^2 \left(X^\top X\right)^{-1}$

oszacowano jak na stronie 8 tego dokumentu online jako

\hat{V a r} [\hat{β} ∣ X] = s^{2} {(X^{⊤} X)}^{- 1}

$\hat{\mathrm{Var}}\left[\hat \beta \mid X \right] =s^2 \left(X^\top X\right)^{-1}$

> X = model.matrix(ols)                             # Model matrix X
> XtX = t(X) %*% X                                  # X transpose X
> Sigma = solve(XtX) * s.sq                         # Variance - covariance matrix
> all.equal(Sigma, vcov(ols))                       # Same as built-in formula
[1] TRUE
> sqrt(diag(Sigma))                                 # Calculated Std. Errors of coef's
(Intercept)        disp        drat          wt 
7.099791769 0.009578313 1.455050731 1.217156605 
> summary(ols)[[4]][,2]                             # Output of lm() function
(Intercept)        disp        drat          wt 
7.099791769 0.009578313 1.455050731 1.217156605

— Antoni Parellada
źródło

2

$Y = \beta*X +\varepsilon$ $Y$ $X$ $\beta$ $X$ $Y$

— Rajiv Sambasivan
źródło

Cześć Rajiv, dziękuję za korektę. Czy możesz wyjaśnić, w jaki sposób Stata (lub jakikolwiek inny pakiet statystyk), zaczynając od Y (i epsilon), potrafi uzyskać macierz wariancji-kowariancji Sigma?

— Riccardo

\hat{e} {\hat{e}}^{'}

$\hat{e}\hat{e}'$

Zgadzam się z użytkownikiem 603. Sprawdź stronę 21 cran.r-project.org/doc/contrib/Faraway-PRA.pdf . Jest to oparte na R, ale obejmuje dobre omówienie teorii regresji liniowej.

— Rajiv Sambasivan

Cześć, dziękuję przede wszystkim. Zgadzam się również z tobą, użytkownik 603, i oczekiwałem tej odpowiedzi. Ale jeśli macierz var / cov jest obliczana przez obliczenie iloczynu zewnętrznego wektorów błędów, oznacza to, że cov wśród składników błędu w większości przypadków nie będzie zero, jak sugerowałaby hipoteza niezależności. Dobrze? Właśnie wokół tego krąży moja wątpliwość. Rajiv, zajrzałem do dobrego przewodnika, który zasugerowałeś, ale nie mogłem znaleźć odpowiedzi. Z góry dziękuję za wszelkie przyszłe odpowiedzi.

— Riccardo