Obliczanie błędu standardowego

Rozważ model regresji w formularzu:

$y_{i} = \alpha + \beta_{1}X_{i} + u_{i}$ (1)

Dano mi i wiem, że OLS szacuje na i i za pomocą tego muszę obliczyć standardowe błędy oszacowań parametrów.$var(u_{i}|X_{i}) = 10$$\alpha$$\beta$

Śledzę książkę Hayashi i wiem o tym

$se(b_{k}) = \sqrt(s^{2}(X'X)^{-1}_{kk})$

Gdzie jest oszacowanym parametrem zainteresowania. Wiem ale to, co mnie dezorientuje, polega na przejściu od danego modelu do wyrażania go w notacji macierzowej i że nie wykorzystuje to wariancji terminu błędu.$b_{k}$$(X'X)^{-1}$

Mogę wyrazić (1) jako a ponieważ ale czy jest to równe ?$Y = X\beta + u$$var(u_{i}|X_{i}) = var(y_{i} - \alpha - \beta_{2}X_{i}|X_{i})$$var(Y - X\beta|X)$

Jeśli tak, mogę wyrazić jako gdzie . I czy mógłbym wykorzystać fakt, że$var(u_{i}|X_{i}) = 10$$\sigma^{2}I_{n}$$\sigma^{2} = 10$

$var(b_{k}|X) = (X'X)^{-1}X' \sigma^{2} I_{n} X(X'X)^{-1}$

Aby znaleźć standardowe błędy zainteresowania.

Twoja notacja jest trochę wszędzie, więc postaram się ją ujednolicić dla ogólnego przypadku.

Niech będzie macierzą regresji (która zawiera kolumnę 1s dla terminu przechwytującego), a będzie wektorem współczynników, które zostaną oszacowane za pomocą OLS (który obejmuje termin przechwytujący). , dla wszystkich . Zatem błędy są homoscedastyczne (stała wariancja), a macierz wariancji-kowariancji błędów ma wpisy diagonalne, które są równe . Ponadto, jeśli założymy, że warunki błędu nie są skorelowane szeregowo, wówczas poza-diagonalne warunki kowariancji dla wszystkich w macierzy wariancji-kowariancji$X$$\beta$$Var(u_i|X) = 10 = \sigma^2$$i$$\Omega$$\sigma^2$$Cov(u_i, u_j|X)$$i \neq j$$\Omega$ są zero.

Są to dwa standardowe założenia Gaussa-Markowa zastosowane do ustalenia NIEBIESKOŚCI estymatora OLS. Zgodnie z tymi założeniami jest$\Omega$

$$E[uu'|X] = \left[ \begin{array}{ccccc} \sigma^2 \\ & \sigma^2 & & \huge0 \\ & & \ddots \\ & \huge0 & & \sigma^2 \\ & & & & \sigma^2 \end{array} \right] = \sigma^2I.$$

Aby uzyskać wariancję szacunków OLS , najpierw zauważ to$b = \hat{\beta}$

$$\begin{align} b &= (X'X)^{-1}X'y \\ &= (X'X)^{-1}X'(X\beta + u) \\ &= \beta + (X'X)^{-1}X'u \\ \implies b - \beta &= (X'X)^{-1}X'u, \end{align}$$

używając . Następnie,$y = X\beta + u$

$$\begin{align} Var(b|X) &= E[(b-\beta)(b-\beta)'|X] \\ &= E[(X'X)^{-1}X'u((X'X)^{-1}X'u)'|X] \\ &= E[(X'X)^{-1}X'uu'X(X'X)^{-1}|X] \\ &= (X'X)^{-1}X'E[uu'|X]X(X'X)^{-1}. \end{align}$$

Przypomnijmy jednak, że otrzymaliśmy poprzez założenie błędów sferycznych Gaussa-Markowa . Zatem przez podstawienie$E[uu'|X] = \sigma^2 I$

$$\begin{align} Var(b|X) &= (X'X)^{-1}X'E[uu'|X]X(X'X)^{-1} \\ &= (X'X)^{-1}X'(\sigma^2 I)X(X'X)^{-1} \\ &= \sigma^2 (X'X)^{-1} X'X(X'X)^{-1} \\ \implies Var(b) &= \sigma^2 (X'X)^{-1}. \end{align}$$

Odchylenie standardowe jest tylko pierwiastkiem kwadratowym wariancji lub$b$

$$sd(b) = \sqrt{\sigma^2 (X'X)^{-1}}.$$

Aby znaleźć standardowe odchylenie szacowanego współczynnika w , , po prostu wyodrębniamy element przekątny z , oznaczony jako :$k^{th}$$b$$b_{k}$$k^{th}$$(X'X)^{-1}$$(X'X)_{kk}^{-1}$

$$sd(b_k) = \sqrt{\sigma^2 (X'X)_{kk}^{-1}}.$$

---

$\sigma^2$ jest (powszechną) wariancją błędów i niestety ta wartość nie jest obserwowana w naszej próbce. W twoim pytaniu wydaje się jednak, że ta wartość jest właśnie podana bezpośrednio - to . Ogólnie jednak należy oszacować na podstawie danych . Okazuje się, że biorąc pod uwagę błędy homoscedastyczne, obiektywnym estymatorem jest$10$$\sigma^2$$\sigma^2$

$$s^2 = \frac{e'e}{n-P},$$

gdzie jest liczbą obserwacji, jest liczbą kolumn w , a ; to znaczy wektor reszt .$n$$P$$X$$e = \hat{u}$$y - Xb$

Zatem błąd standardowy$\mathbf{b_k}$ jest szacowany na

$$\boldsymbol{se(b_k) = \sqrt{s^2 (X'X)_{kk}^{-1}}},$$

co jest wynikiem Hayashi.