Intuicyjny kalkulator kanapkowy

Wikipedia i winieta pakietu warstwowego R dostarczają dobrych informacji na temat założeń wspierających standardowe błędy współczynnika OLS oraz matematycznego tła estymatorów warstwowych. Nadal nie jestem pewien, w jaki sposób rozwiązany jest problem heteroscedastyczności resztek, prawdopodobnie dlatego, że nie do końca rozumiem standardowe oszacowanie wariancji współczynników OLS.

Jaka intuicja kryje się za estymatorem kanapkowym?

— Robert Kubrick
źródło

Musisz dowiedzieć się więcej o oszacowaniu

M

$M$ (lub oszacowaniu ekstremum, jak to się czasem nazywa w ekonometrii). Estymator kanapkowy dla regresji jest tylko szczególnym przypadkiem bardzo ogólnej formuły metody delta, a jeśli zrozumiesz tę drugą, nie będziesz mieć żadnych problemów z tą pierwszą. Nie ma intuicji w tym, że estymator kanapkowy nie próbuje modelować heteroskedastyczności ani nic z tym zrobić; to tylko inny estymator wariancji, który działa przy bardziej ogólnym zestawie założeń niż standardowy estymator OLS.

— StasK,

@StasK Dzięki! Czy zdarza ci się znać jakiś konkretny dobry zasób na temat szacunków M i wzorów delta?

— Robert Kubrick,

Warto zobaczyć monografię Roberta Hubera „Solidne statystyki”.

— Momo

W przypadku OLS możesz sobie wyobrazić, że używasz szacowanej wariancji reszt (przy założeniu niezależności i homoscedastyczności) jako oszacowania warunkowej wariancji . W estymatorze opartym na kanapkach używasz zaobserwowanych kwadratowych reszt jako oszacowania wtyczki dla tej samej wariancji, która może się różnić między obserwacjami. $Y_i$

var (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (var (Y | X)) X) {(X^{T} X)}^{- 1}

$\begin{equation} \mbox{var}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(\mbox{var}\left(Y|X\right)\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

W zwykłym oszacowaniu błędu standardowego najmniejszych kwadratów dla oszacowania współczynnika regresji wariancja warunkowa wyniku jest traktowana jako stała i niezależna, dzięki czemu można ją konsekwentnie oszacować.

{\hat{var}}_{O L S} (\hat{β}) = {(X^{T} X)}^{- 1} (r^{2} X^{T} X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{OLS}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(r^2X^TX\right)\left(X^TX\right)^{-1} \end{equation}$

W przypadku kanapki unikamy spójnego szacowania wariancji warunkowej i zamiast tego używamy szacunkowej wtyczki wariancji każdego komponentu, używając kwadratowej wartości resztkowej

{\hat{var}}_{R S E} (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (r_{i}^{2}) X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{RSE}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(r_i^2\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

Za pomocą wtyczki oszacowania wariancji, otrzymamy spójnych oszacowań wariancji przez Lapunowa Centralnego twierdzenia granicznego. $\hat{\beta}$

Intuicyjnie, te obserwowane kwadratowe reszty usuwają wszelkie niewyjaśnione błędy wynikające z heteroscedastyczności, które w innym przypadku byłyby nieoczekiwane przy założeniu stałej wariancji.

— AdamO
źródło

To twój ostatni akapit, który trudno mi zrozumieć. Czy możesz to zilustrować?

— Robert Kubrick,

Nie ma SE w twoich formułach, AdamO, to SE ^ 2 ... w jakikolwiek sposób matrycowy, co masz na myśli.

— StasK,

@StasK Dobra uwaga. Może kapelusz z wariantem jest lepszy. Myliłem terminologię wielowymiarową i jednowymiarową.

— AdamO,

var (Y | X)

$\mbox{var}(Y|X)$

i

$i$

Edycja: Powiedziałem, że oszacowania zmienne OLS obejmują „spójne oszacowania reszt”, kiedy miałem na myśli „spójne oszacowanie wariancji reszt”.

— AdamO,