Warunkowa średnia niezależność oznacza bezstronność i spójność estymatora OLS

Rozważ następujący model regresji wielokrotnej:

\begin{matrix} (1) & Y = X β + Z δ + U . \end{matrix}

$Y=X\beta+Z\delta+U.\tag{1}$

Tutaj jest wektorem kolumny; Macierz a ; a wektor kolumny; a macierz; a wektor kolumnowy; i , termin błędu, wektor kolumny . $Y$ $n\times 1$ $X$ $n\times (k+1)$ $\beta$ $(k+1)\times 1$ $Z$ $n\times l$ $\delta$ $l\times 1$ $U$ $n\times1$

PYTANIE

Mój wykładowca, podręcznik Wprowadzenie do ekonometrii, wydanie 3. autorzy James H. Stock i Mark W. Watson, str. 281 oraz Econometrics: Honor's Exam Review Session (PDF) , s. 1. 7, wyraził mi następujące.

Jeśli założymy, że tak zwana warunkowa oznacza niezależność , co z definicji oznacza, że $\begin{matrix} (2) & E (U | X, Z) = E (U | Z), \end{matrix}$ $E(U|X,Z)=E(U|Z),\tag{2}$
a jeżeli założenie najmniejszych kwadratów jest spełnione, z wyjątkiem założenia warunkowego średniego zera $E(U|X,Z)=0$ (więc przyjmujemy $E(U|X,Z)=E(U|Z) \neq 0$ ) (patrz 1 -3 poniżej),
następnie estymator OLS $\hat{\beta}$ z $\beta$ w $(1)$ pozostaje bezstronny i spójny, przy tym słabszym zestawie założeń.

Jak udowodnić tę propozycję? To znaczy, że 1 i 2 powyżej sugerują, że oszacowanie OLS dla daje nam obiektywny i spójny szacunek dla ? Czy jest jakiś artykuł badawczy potwierdzający tę propozycję? $\beta$ $\beta$

KOMENTARZ

Najprostszy przypadek podano, biorąc pod uwagę model regresji liniowej i udowodnij, że oszacowanie OLS z jest bezstronny, jeśli dla każdego .

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}, i = 1, 2, \dots, n,

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i,\quad i=1,2,\ldots,n,$

{\hat{β}}_{1}

$\hat{\beta}_1$

β_{1}

$\beta_1$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

i

$i$

DOWÓD NIEBIADOMOŚCI PRZYZNAJĄCY, ŻE I SĄ WSPÓLNIE NORMALNIE ROZPOWSZECHNIANE $U_i$ $Z_i$

Zdefiniuj , a następnie iZatem można przepisać jako Do następnie wynika, że Teraz, ponieważ i są wspólnie normalnie rozłożone, teoria rozkładów normalnych, por. Wyprowadzając rozkłady warunkowe wielowymiarowego rozkładu normalnego , mówi, że (w rzeczywistości nie musimy zakładać wspólnej normalności, ale tylko tę tożsamość) dla pewnego wektora na $V=U-E(U|X,Z)$ $U=V+E(U|X,Z)$

\begin{matrix} (*) & E (V | X, Z) = 0 . \end{matrix}

$E(V|X,Z)=0\tag{*}.$

(1)

$(1)$

\begin{matrix} (3) & Y = X β + Z δ + E (U | X, Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|X,Z)+V.\tag{3}$

(2)

$(2)$

\begin{matrix} (4) & Y = X β + Z δ + E (U | Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|Z)+V.\tag{4}$

U_{i}

$U_i$

Z_{i}

$Z_i$

\begin{matrix} (**) & E (U | Z) = Z γ \end{matrix}

$E(U|Z)=Z\gamma\tag{**}$

l

$l$

1

$1$

γ \neq 0

$\gamma\neq\textbf{0}$ .

Teraz staje się W modelu spełnione są założenia najmniejszych kwadratów, ponieważ warunek błędu spełnia założenie warunkowe oznacza zero. Oznacza to, że oszacowanie OLS dla będzie bezstronne, ponieważ jeśli pozwolimy , a będzie przez macierz złożona z i , a następnie oszacowanie OLS dla w biorąc pod uwagę następujące kwestie: $(4)$

\begin{matrix} (5) & Y = X β + Z (δ + γ) + V . \end{matrix}

$Y=X\beta+Z(\delta+\gamma)+V.\tag{5}$

(5)

$(5)$

V

$V$

\hat{β}

$\hat{\beta}$

β

$\beta$

ρ = δ + γ

$\rho=\delta+\gamma$

W = (X, Z)

$W=(X,Z)$

n

$n$

(k + 1) + l

$(k+1)+l$

X

$X$

Z

$Z$

β

$\beta$

(5)

$(5)$

\begin{aligned} ({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} & = (W^{T} W)^{- 1} W^{T} Y \\ = (W^{T} W)^{- 1} W^{T} (W (β^{T}, ρ^{T})^{T} + V) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} V \end{aligned}

$\begin{align}(\hat{\beta}^T,\hat{\rho}^T)^T &=(W^TW)^{-1}W^TY\\ &=(W^TW)^{-1}W^T(W(\beta^T,\rho^T)^T+V)\\ &=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^TV\end{align}$

a zatem gdzie druga linia następuje po . Zatem jest warunkowo bezstronnym oszacowaniem ponieważ oszacowanie OLS podane dla modelu pokrywa się z oszacowaniem dla modelu . Teraz, zgodnie z prawem całkowitego oczekiwania, a zatem jest obiektywnym oszacowaniem dla .

\begin{aligned} E (({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} | W) & = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W s^{T} E (V | W) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} 0 \\ = (β^{T}, ρ^{T})^{T}, \end{aligned}

$\begin{align}E((\hat{\beta}^T,\hat{\rho}^T)^T|W)&=(\beta^T,\rho^T)^T+(W^TW)^{-1}Ws^TE(V|W)\\&=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^T\textbf{0}\\&=(\beta^T,\rho^T)^T,\end{align}$

(*)

$(*)$

\hat{β}

$\hat{\beta}$

β

$\beta$

(1)

$(1)$

(5)

$(5)$

\begin{aligned} E (\hat{β}) & = E (E (\hat{β} | W)) \\ = E (β) \\ = β, \end{aligned}

$\begin{align}E(\hat{\beta})&=E(E(\hat{\beta}|W))\\ &=E(\beta)\\ &=\beta,\end{align}$

\hat{β}

$\hat{\beta}$

β

$\beta$

(Można zauważyć, że , więc współczynnik na niekoniecznie jest obiektywny.) $E(\hat{\rho})=\rho=\delta+\gamma\neq\delta$ $Z$

Jednak powyższy szczególny przypadek zakłada, że i są wspólnie dystrybuowane normalnie, jak mogę udowodnić propozycję bez tego założenia? $U_i$ $Z_i$

Zakładając, że zawsze wystarcza (por. ), ale powinienem uzyskać wynik po prostu za pomocą i założenia najmniejszych kwadratów z wyłączeniem założenia warunkowego średniego zera ( patrz poniżej). $E(U|Z)=Z\gamma$ $(**)$ $(2)$

DOTYCZĄCE SPÓJNOŚCI

Myślę, że można również zauważyć, że oszacowanie jest spójne dla , zauważając, że w modelu regresji spełnione są wszystkie założenia najmniejszych kwadratów, w tym założenie, że (nowy) termin błędu spełnia Założenie warunkowe średniej zerowej (por. I patrz poniżej). $\hat{\beta}$ $\beta$ $(5)$ $V$ $(*)$

Mogę później dodać dowód spójności, który jest oparty na serii ćwiczeń we Wstępie do ekonometrii, wyd. 3. autorzy James H. Stock i Mark W. Watson, rozdz. 18. Jednak ten dowód jest dość długi. Ale chodzi tutaj o to, że dowód dostarczony w ćwiczeniach zakłada , więc wciąż zastanawiam się, czy założenie naprawdę wystarcza. $(**)$ $(2)$

SUBQUERY 1

We wstępie do ekonometrii, wyd. 3. James H. Stock i Mark W. Watson, mówi się, na str. 300, że założenie można „rozluźnić” przy użyciu teorii regresji nieliniowej. Co przez to rozumieją? $(**)$

NAJMNIEJSZE ZAŁOŻENIA KWADRATÓW

Wykluczam tutaj warunkowe średnie zero zero, że ponieważ twierdzenie, które próbujemy tutaj udowodnić, dopuszcza przypadki, w których . Są to przypadki, gdy na przykład jest skorelowana z . Por. Econometrics: Honor's Exam Review Session (PDF) , s. 1 7 $E(U|X,Z)=0$ $E(U|X,Z)\neq 0$ $Z$ $U$

Założenie, że najmniejsze kwadraty są następujące.

Rozkłady wspólne , są iid, gdzie jest -tym elementem w a i są tego rzędu w i . $(Y_i,X_i,Z_i)$ $i=1,2,\ldots,n,$ $Y_i$ $i$ $Y$ $X_i$ $Z_i$ $i$ $X$ $Z$
Duże odstające są mało prawdopodobne, czyli dla każdego , i mieć skończone czwarty momenty, gdzie to : th element . $i$ $X_i, Z_i$ $U_i$ $U_i$ $i$ $U$
$(X,Z)$ ma pełną rangę kolumny (tzn. Nie ma doskonałej wielokoliniowości; zapewnia to odwracalność ). $W^TW$
( Rozszerzone założenia najmniejszych kwadratów : Chociaż nie uważam, że jest to konieczne (i powiedziano mi, że tak nie jest), możemy również założyć homoskedastyczność, tj. dla każdego oraz że podany rozkład warunkowy jest normalny dla każdego (tzn. Mamy normalne błędy.)) $\text{Var}(U_i|X_i,Z_i)=\sigma^2_U$ $i$ $U_i$ $(X_i,Z_i)$ $i$

UWAGA DOTYCZĄCA TERMINOLOGII

W założenie, że warunkowo średnia zero jest założeniem, że . Założenie o warunkowej średniej niezależności jest jednak założeniem, że . $(1)$ $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z)$

Ta terminologia jest używana np. W Wprowadzenie do ekonometrii, wydanie trzecie. autorzy James H. Stock i Mark W. Watson, str. 281; oraz Analiza ekonometryczna danych przekroju i panelu, wyd. 1. autor: Jeffrey M. Wooldridge, str. 607. Zobacz także warunkowe ograniczenia niezależności: testowanie i szacowanie dla podobnych dyskusji.

DODATKOWE MYŚLI I ZAPYTANIA 2

Myślę, że w przeciwieństwie do Jamesa H. Stocka i Marka W. Watsona, warunkowa niezależność nie zapewnia obiektywnej oceny OLS na poziomie . Wynika to z faktu, że może przyjmować formy nieliniowe, takie jak gdzie jest wielomianem w , lub gdzie jest jakimś parametrem, który należy jeszcze oszacować (tutaj używam macierzy wykładniczej ), a następnie, jak sądzę, należy zastosować regresję nieliniową , co na ogół pozostawia nam tendencyjne oszacowania. Ponadto oszacowanie OLS w (1) może nawet nie pokrywać się z oszacowaniem OLS $\beta$ $E(U|Z)$ $E(U|Z)=p(Z)$ $p(Z)$ $Z$ $E(U|Z)=\exp( Z\gamma)$ $\gamma$ $\beta$ $\beta$ w jeśli przyjmuje pewne formy nieliniowe. (Psychologicznie uważam również, że stwierdzenie zawarte w książce Stock & Watson jest zbyt piękne, aby mogło być prawdziwe.) $(4)$ $E(U|Z)$

Zatem dodatkowym pytaniem jest, czy istnieje jakiś kontrprzykład na twierdzenie, że warunkowa średnia niezależność prowadzi do obiektywnego oszacowania OLS?

SUBQUERY 3

W Przeważnie Nieszkodliwych Ekonometrii Angrist i Pischke argumentują w podrozdziale 3.3, s. 1. 68--91, że w warunkach warunkowej niezależności (CI), tj. jest niezależny od biorąc pod uwagę (co, jak sądzę, jest to silniejszy warunek niż podane powyżej warunkowe założenie średniej niezależności), istnieje ścisły związek między dopasowanymi szacunkami wpływ na i współczynników na w regresji na i który motywuje, że w CI estymacja OLS współczynnika na w $Y$ $X$ $W$ $X$ $Y$ $X$ $Y$ $X$ $W$ $X$ $(1)$ jest mniej stronniczy niż wtedy, gdy CI się nie utrzymuje (wszystkie pozostałe są równe).

Czy ten pomysł można w jakiś sposób wykorzystać do odpowiedzi na moje główne pytanie tutaj?

— Elias
źródło

@ Xi'an Co masz na myśli? Taka jest definicja warunkowej średniej niezależności podana w moim podręczniku: Jeśli w regresji liniowej

mamy

, wtedy mówimy, że mamy warunkową średnią niezależność. Pomyślałem, że mój sposób pisania jest bardziej ogólny.

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

— Elias

@ Xi'an Jak zdefiniowałbyś w tym przypadku „warunkowe niezależne $ ce”? Kiedy o tym myślę, „warunkowa niezależność” jest pojęciem innym niż „warunkowa średnia niezależność”. Mogą, ale nie muszą być koncepcyjnie powiązane.

— Elias

@ Xi'an W ten sposób rozumiem pojęcia: niezależność warunkowa to tylko

, ale średnia warunkowa niezależność to

P (A \cap B | C) = P (A | C) P (B | C)

$P(A\cap B|C)=P(A|C)P(B|C)$

E (A | B, C) = E (A | C)

$E(A|B,C)=E(A|C)$

— Elias

Gdzie jest komentarz Xi'ana?

— Michael R. Chernick,

@MichaelChernick Jego komentarz był pierwszy. Myślę, że musiał go usunąć. Jak pamiętam, powiedział, że

nie oznacza warunkowej niezależności, a ja odpowiedziałem.

E (U | X, Z) = E (U | Z)

$E(U|X,Z)=E(U|Z)$

— Elias,

Odpowiedzi:

To nieprawda. Jak zauważyłeś, jeśli dokładnie czytasz Stocka i Watsona, tak naprawdę nie popierają oni twierdzenia, że OLS jest bezstronny w stosunku do pod warunkową średnią niezależności. Popierają znacznie słabsze twierdzenie, że OLS jest bezstronny dla jeśli . Następnie mówią coś niejasnego o nieliniowych najmniejszych kwadratach. $\beta$ $\beta$ $E(u|x,z)=z\gamma$

Twoje równanie (4) zawiera to, czego potrzebujesz, aby stwierdzić, że twierdzenie jest fałszywe. Oszacowanie równania (4) przez OLS z pominięciem zmiennej prowadzi do stronniczości zmiennych pominiętych. Jak zapewne przypomnieć, termin zakłócenia z pominiętymi zmiennych (gdy zmienna pominięte ma współczynnik 1) jest sterowana przez współczynniki z następującym regresji pomocnicze: The błąd w oryginalnej regresji dla wynosi $E(u|x,z)$

\begin{aligned} E (u | z) = x α_{1} + z α_{2} + ν \end{aligned}

$\begin{align} E(u|z) = x\alpha_1 + z\alpha_2 + \nu \end{align}$

β

$\beta$

α_{1}

$\alpha_1$ z tej regresji, a odchylenie na

wynosi

. Jeśli

jest skorelowana z

, po skontrolowaniu liniowo do

, a następnie

będzie niezerowe i współczynnik OLS będzie obciążona.

γ

$\gamma$

α_{2}

$\alpha_2$

x

$x$

E (u | z)

$E(u|z)$

z

$z$

α_{1}

$\alpha_1$

Oto przykład na potwierdzenie tego:

\begin{aligned} ξ & \sim F (), ζ \sim G (), ν \sim H () all independent \\ z & = ξ \\ x & = z^{2} + ζ \\ u & = z + z^{2} - E (z + z^{2}) + ν \end{aligned}

$\begin{align} \xi &\sim F(), \; \zeta \sim G(), \; \nu \sim H()\quad \text{all independent}\\ z &=\xi\\ x &= z^2 + \zeta\\ u &= z+z^2-E(z+z^2)+\nu \end{align}$

Patrząc na wzór dla , jasne jest, że Patrząc na regresję pomocniczą, jasne jest, że ( bez jakiegoś przypadkowego wyboru ) nie będzie wynosił zero. $u$ $E(u|x,z)=E(u|z)=z+z^2-E(z+z^2)$ $F,G,H$ $\alpha_1$

Oto bardzo prosty przykład, w Rktórym pokazuje to:

set.seed(12344321)
z <- runif(n=100000,min=0,max=10)
x <- z^2 + runif(n=100000,min=0,max=20)
u <- z + z^2 - mean(z+z^2) + rnorm(n=100000,mean=0,sd=20)
y <- x + z + u

summary(lm(y~x+z))

# auxiliary regression
summary(lm(z+z^2~x+z))

Zauważ, że pierwsza regresja daje współczynnik na który jest przesunięty o 0,63, odzwierciedlając fakt, że „ma w sobie trochę ”, podobnie jak . Zauważ również, że regresja pomocnicza daje ci szacunkową wartość około 0,63. $x$ $x$ $z^2$ $E(u|z)$

O czym więc mówią Stock i Watson (i twój wykładowca)? Wróćmy do twojego równania (4):

\begin{aligned} y = x β + z γ + E (u | z) + v \end{aligned}

$\begin{align} y = x\beta + z\gamma + E(u|z) + v \end{align}$

Ważnym faktem jest to, że pominięta zmienna jest tylko funkcją . Wygląda na to, że gdybyśmy mogli naprawdę dobrze kontrolować , wystarczyłoby to do usunięcia błędu systematycznego z regresji, nawet jeśli może być skorelowany . $z$ $z$ $x$ $u$

Załóżmy, że oszacowaliśmy poniższe równanie za pomocą metody nieparametrycznej do oszacowania funkcji lub przy użyciu poprawnej postaci funkcjonalnej . Gdybyśmy użyli prawidłowej formy funkcjonalnej, oszacowalibyśmy ją za pomocą nieliniowych najmniejszych kwadratów (wyjaśniając tajemniczy komentarz na temat NLS): To dałoby nam spójny estymator dla $f()$ $f(z)=z\gamma+E(u|z)$

\begin{aligned} y = x β + f (z) + v \end{aligned}

$\begin{align} y = x\beta + f(z) + v \end{align}$

β

$\beta$ ponieważ nie ma już problemu z pominiętą zmienną.

Ewentualnie, jeśli mieliśmy wystarczająco dużo danych, możemy iść `całą drogę„”w kontrolowaniu do . Moglibyśmy spojrzeć na podzbiór danych, gdzie , i po prostu uruchomić regresję: Dałoby to obiektywne, spójne estymatory dla z wyjątkiem oczywiście przecięcia, które byłoby zanieczyszczone przez . Oczywiście można również uzyskać (inny) spójny, obiektywny estymator, uruchamiając tę regresję tylko w punktach danych, dla których . I kolejny dla punktów, w których $z$ $z=1$

\begin{aligned} y = x β + v \end{aligned}

$\begin{align} y = x\beta + v \end{align}$

β

$\beta$

f (1)

$f(1)$

z = 2

$z=2$

z = 3

$z=3$ . Itd. Wtedy miałbyś kilka dobrych estymatorów, z których możesz zrobić świetny estymator, powiedzmy, uśredniając je wszystkie razem.

Ta ostatnia myśl jest inspiracją do dopasowania estymatorów. Ponieważ zwykle nie mamy wystarczającej ilości danych, aby dosłownie uruchomić regresję tylko dla lub nawet dla par punktów, w których jest identyczne, zamiast tego uruchamiamy regresję dla punktów, w których jest `` wystarczająco blisko '', aby być identycznymi. $z=1$ $z$ $z$

— Rachunek
źródło

Nie możesz udowodnić tego wyniku, ponieważ nie jest to prawda w jego ogólnym stwierdzeniu. Zacznij od modelu w swoim eq. $(4)$

Y = X β + Z δ + (E (U | Z) + V)

$Y=X\beta+Z\delta+\Big(E(U|Z)+V\Big)$

gdzie duży nawias oznacza rzeczywisty termin błędu (brak założeń dotyczących warunkowego oczekiwania). Zdefiniuj macierz reszty-twórcy lub matrycy anihilatora , która jest symetryczna, idempotentna i mamy również . $M_Z = I - Z(Z'Z)^{-1}Z'$ $M_ZZ = \mathbf 0$

Mamy to w „wynikach regresji częściowej”

{\hat{β}}_{O L S} - β = (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} Z δ + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z) + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} V

$\hat \beta_{OLS} - \beta = (X'M_ZX)^{-1}X'M_ZZ\delta + (X'M_ZX)^{-1}X'M_ZE(U\mid Z) + (X'M_ZX)^{-1}X'M_ZV$

Pierwszy termin po prawej stronie ma już zero. Biorąc pod uwagę oczekiwaną wartość, a następnie stosując właściwość wieży do warunkowego oczekiwania, trzeci okres będzie również wynosił zero (przy użyciu średniej warunkowej niezależności w jej słabszej postaci). Ale do tego stopnia prowadzi nas to słabsze założenie, ponieważ zostaniemy z tym

E ({\hat{β}}_{O L S}) - β = E [(X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z)]

$E\Big(\hat \beta_{OLS} \Big)- \beta = E\Big[(X'M_ZX)^{-1}X'M_ZE(U\mid Z) \Big]$

$E(U\mid Z)$ $Z$ $M_ZZ$
$\beta$

E (U ∣ X, Z) = E (U ∣ Z) = Z γ

$E(U\mid X, Z)=E(U\mid Z)=Z\gamma$

$U$ $Z$

$\hat \beta_{OLS}$

— Alecos Papadopoulos
źródło

M_{Z}

$M_Z$

M_{z}

$M_z$

Z

$Z$

z

$z$