To jest naprawdę fajne pytanie, które podważa twoje podstawowe rozumienie regresji.
Najpierw usuń wszelkie początkowe nieporozumienia dotyczące notacji. Patrzymy na regresję:
y= b0+ b1x + u^
gdzie i są estymatorami prawdziwych i , a są regresji. Zauważ, że leżąca u podstaw prawdziwa i nierozdzielona regresja jest zatem oznaczona jako:b0b1β0β1uu^
y= β0+ β1x + u
Oczekiwano i wariancji . Niektóre książki oznaczają jako i tutaj dostosowujemy tę konwencję. Korzystamy również z notacji macierzowej, gdzie b jest wektorem 2x1, który zawiera estymatory , a mianowicie . (Również ze względu na przejrzystość traktuję X jako ustalony w poniższych obliczeniach.)mi[ u ] = 0mi[ u2)] = σ2)bβ β = [ β 0 , p 1 ] " b = [ b 0 , b 1 ] 'β^β= [ β0, β1]′b = [ b0, b1]′
Teraz twoje pytanie. Twoja formuła kowariancji jest rzeczywiście poprawna, to znaczy:
σ( b0, b1) = E( b0b1) - E( b0) E(b1)= E(b0b1) -β0β1
Myślę, że chcesz wiedzieć, skąd się w tej formule prawdziwe nieobserwowane współczynniki ? W rzeczywistości zostaną anulowane, jeśli pójdziemy o krok dalej, rozszerzając formułę. Aby to zobaczyć, zauważ, że wariancja populacji estymatora jest dana przez:β0,β1
V.a r ( β^) = σ2)( X′X)- 1
Ta matryca zawiera wariancje w elementach ukośnych i kowariancje w elementach nieprzekątnych.
Aby dojść do powyższej formuły, uogólnijmy roszczenie za pomocą notacji macierzowej. Oznaczmy zatem wariancję z i oczekiwanie z .V.a r [ ⋅ ]mi[ ⋅ ]
V.a r [ b ] = E[ b2)] - E[ b ] E[ b′]
Zasadniczo mamy ogólną formułę wariancji, używając tylko notacji macierzowej. Równanie rozwiązuje się po podstawieniu w wyrażeniu standardowym estymatora . Załóżmy również, że jest obiektywnym estymatorem. W ten sposób uzyskujemy:b = ( X′X)- 1X′ymi[ b ] = β
mi[ ( ( X′X)- 1X′y)2)] - β2)2 × 2
Zauważ, że mamy po prawej stronie macierz - 2x2, a mianowicie , ale w tym momencie możesz już zgadywać, co stanie się wkrótce z tym terminem.β2)b b′
Zastępując naszym wyrażeniem prawdziwego procesu generowania danych powyżej, mamy:y
mi[ ( ( X′X)- 1X′y)2)] - β2)= E[ ( ( X′X)- 1X′( Xβ+ u ) )2)] - β2)= E[ ( ( X′X)- 1X′X= Jaβ+ ( X′X)- 1X′u )2)] - β2)= E[ ( β+ ( X′X)- 1X′u )2)] - β2)= β2)+ E[ ( X′X)- 1X′u )2)] - β2)
ponieważ . Ponadto, kwadratowy termin anuluje się zgodnie z oczekiwaniami.mi[ u ] = 0β2)
Mamy zatem:
V.a r [ b ] = ( ( X′X)- 1X′)2)mi[ u2)]
Według liniowości oczekiwań. Zauważ, że z założenia i ponieważ jest macierzą symetryczną , a zatem taką samą jak jej transpozycja. Wreszcie dochodzimy domi[ u2)] = σ2)( ( X′X)- 1X′)2)= ( X′X)- 1X′X( X′X)′ - 1= ( X′X)- 1X′XK.× K
V.a r [ b ] = σ2)( X′X)- 1
Teraz, gdy pozbyliśmy się wszystkich warunków . Intuicyjnie wariancja estymatora jest niezależna od wartości rzeczywistego podstawowego współczynnika, ponieważ sama w sobie nie jest to zmienna losowa. Wynik jest ważny dla wszystkich pojedynczych elementów w macierzy kowariancji wariancji, jak pokazano w książce, a zatem obowiązuje również dla elementów z odpowiednio aby anulować odpowiednio. Jedyny problem polegał na tym, że zastosowałeś ogólną formułę wariancji, która początkowo nie odzwierciedla tego anulowania.ββ0β1
Ostatecznie wariancja współczynników zmniejsza się do i jest niezależna od . Ale co to znaczy? (Myślę, że poprosiłeś także o bardziej ogólne zrozumienie ogólnej macierzy kowariancji)σ2)( X′X)- 1β
Spójrz na wzór w książce. Po prostu zapewnia, że wariancja estymatora wzrasta, gdy prawdziwy błąd leżący u podstaw błędu jest bardziej hałaśliwy ( wzrasta), ale maleje, gdy zwiększa się rozpiętość X. Ponieważ mając więcej obserwacji rozłożonych wokół prawdziwej wartości, ogólnie możesz zbudować estymator, który jest bardziej dokładny, a tym samym bliższy prawdziwej . Z drugiej strony, warunki kowariancji na przekątnej stają się praktycznie istotne w testowaniu hipotez wspólnych hipotez, takich jak . Poza tym są trochę krówki, naprawdę. Mam nadzieję, że to wyjaśnia wszystkie pytania.σ2) β b 0 = b 1 = 0βb0= b1= 0
