Założenia dotyczące najmniejszych kwadratów

Załóżmy następującą zależność liniową: , gdzie jest zmienną zależną, pojedynczą zmienną niezależną, a termin błędu.$Y_i = \beta_0 + \beta_1 X_i + u_i$$Y_i$$X_i$$u_i$

Według Stock & Watson (Wprowadzenie do ekonometrii; Rozdział 4 ), trzecim najmniejszym kwadratem jest założenie, że czwarte momenty i są niezerowe i skończone .$X_i$$u_i$$(0<E(X_i^4)<\infty \text{ and } 0<E(u_i^4)<\infty)$

Mam trzy pytania:

1. Nie do końca rozumiem rolę tego założenia. Czy OLS jest stronniczy i niespójny, jeśli to założenie się nie sprawdza, czy też potrzebujemy tego założenia do wnioskowania?

2. Stock i Watson piszą: „założenie to ogranicza prawdopodobieństwo wyciągnięcia obserwacji z wyjątkowo dużymi wartościami lub ”. Mam jednak intuicję, że to założenie jest ekstremalne. Czy mamy kłopoty, jeśli mamy duże wartości odstające (takie, że czwarte momenty są duże), ale jeśli te wartości są wciąż skończone? Nawiasem mówiąc: Jaka jest podstawowa definicja odstająca?$X_i$$u_i$

3. Możemy przeformułować to w następujący sposób: „kurtozę i są niezerowe i skończona?”$X_i$$u_i$

Zdajesz nie potrzeba założenia na 4. momentów dla spójności estymatora OLS, ale trzeba robić założeń potrzebujemy na wyższych momentów$x$ i $\epsilon$ dla asymptotycznej normalności i konsekwentnego szacowania, czym jest asymptotyczna macierz kowariancji.

W pewnym sensie jest to jednak punkt matematyczny, techniczny, a nie praktyczny. Aby OLS działał dobrze w skończonych próbkach, w pewnym sensie wymaga więcej niż minimalnych założeń niezbędnych do osiągnięcia asymptotycznej spójności lub normalności, ponieważ$n \rightarrow \infty$.

Wystarczające warunki dla spójności:

Jeśli masz równanie regresji:

$$y_i = \mathbf{x}_i' \boldsymbol{\beta} + \epsilon_i$$

Estymator OLS można zapisać jako: $\hat{\mathbf{b}}$

$$\hat{\mathbf{b}} = \boldsymbol{\beta} + \left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right)$$

Aby zachować spójność , musisz być w stanie zastosować prawo wielkich liczb Kołmogorowa lub, w przypadku szeregów czasowych z szeregową zależnością, coś w rodzaju twierdzenia Ergodycznego Karlina i Taylora, aby:

$$\frac{1}{n} X'X \xrightarrow{p} \mathrm{E}[\mathbf{x}_i\mathbf{x}_i'] \quad \quad \quad \frac{1}{n} X'\boldsymbol{\epsilon} \xrightarrow{p} \mathrm{E}\left[\mathbf{x}_i' \epsilon_i\right]$$

Inne potrzebne założenia to:

• $\mathrm{E}[\mathbf{x}_i\mathbf{x}_i']$ ma pełną rangę, a zatem macierz jest odwracalna.
• Regresory są z góry określone lub ściśle egzogeniczne, więc .$\mathrm{E}\left[\mathbf{x}_i \epsilon_i\right] = \mathbf{0}$

Następnie a otrzymasz$\left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right) \xrightarrow{p} \mathbf{0}$$\hat{\mathbf{b}} \xrightarrow{p} \boldsymbol{\beta}$

Jeśli chcesz centralne twierdzenie graniczne zastosować wtedy trzeba założenia dotyczące wyższych momentach, na przykład, gdzie . Centralne twierdzenie o limicie daje asymptotyczną normalność i pozwala mówić o standardowych błędach. Aby istniał drugi moment , potrzebujesz czwartego momentu i . Chcesz argumentować, że gdzie$\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$$\mathbf{g_i} = \mathbf{x}_i \epsilon_i$$\hat{\mathbf{b}}$$\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$$x$$\epsilon$$\sqrt{n}\left(\frac{1}{n} \sum_i \mathbf{x}_i' \epsilon_i \right) \xrightarrow{d} \mathcal{N}\left( 0, \Sigma \right)$$\Sigma = \mathrm{E}\left[\mathbf{x}_i\mathbf{x}_i'\epsilon_i^2 \right]$ . Aby to zadziałało, musi być skończona.$\Sigma$

Ładna dyskusja (która motywowała ten post) znajduje się w Econometrics Hayashi . (Zobacz także s. 149, aby zapoznać się z 4. momentami i oszacowaniem macierzy kowariancji).

Dyskusja:

Te wymagania dotyczące 4 momentów są prawdopodobnie punktem technicznym, a nie praktycznym. Prawdopodobnie nie spotkasz się z rozkładami patologicznymi, jeśli jest to problem w codziennych danych? Chodzi o bardziej powszechne lub inne założenia OLS.

Innym pytaniem, na które niewątpliwie odpowiedziano w innym miejscu na Stackexchange, jest to, jak duża próbka jest potrzebna, aby próbki skończone zbliżyły się do asymptotycznych wyników. W pewnym sensie fantastyczne wartości odstające prowadzą do powolnej konwergencji. Na przykład spróbuj oszacować średnią rozkładu logarytmicznego z naprawdę dużą wariancją. Średnia próbki jest spójnym, bezstronnym estymatorem średniej populacji, ale w tym logarytmicznym przypadku z szalonym nadmiarem kurtozy itp. (Link), skończone wyniki próby są naprawdę bardzo złe.

Skończone vs. nieskończone jest niezwykle ważnym rozróżnieniem w matematyce. To nie jest problem, który napotykasz w codziennych statystykach. Problemy praktyczne są bardziej w kategorii małej kontra dużej. Czy wariancja, kurtoza itp. Są wystarczająco małe, aby uzyskać rozsądne oszacowania na podstawie wielkości mojej próbki?

Patologiczny przykład, w którym estymator OLS jest spójny, ale nie asymptotycznie normalny

Rozważać:

$$y_i = b x_i + \epsilon_i$$ Gdzie ale jest rysowane z rozkładu t o 2 stopniach swobody, więc . Oszacowanie OLS jest zbieżne z prawdopodobieństwem do ale rozkład próbki dla oszacowania OLS zwykle nie jest rozkładem. Poniżej przedstawiono rozkład empiryczny dla oparty na 10000 symulacjach regresji z 10000 obserwacji.$x_i \sim \mathcal{N}(0,1)$$\epsilon_i$$\mathrm{Var}(\epsilon_i) = \infty$$b$$\hat{b}$$\hat{b}$

Rozkład nie jest normalny, ogony są zbyt ciężkie. Ale jeśli zwiększysz stopnie swobody do 3, aby istniał drugi moment , wówczas obowiązuje centralny limit i otrzymujesz: $\hat{b}$$\epsilon_i$

Kod do wygenerowania:

beta = [-4; 3.7];
n = 1e5;    
n_sim = 10000;    
for s=1:n_sim
    X = [ones(n, 1), randn(n, 1)];  
    u  = trnd(2,n,1) / 100;
    y = X * beta + u;

    b(:,s) = X \ y;
end
b = b';
qqplot(b(:,2));

1. Jest to założenie wystarczające, ale nie minimalne [1]. OLS nie jest stronniczy w tych warunkach, jest po prostu niespójny. Asymptotyczne właściwości OLS rozpadają się, gdy może mieć bardzo duży wpływ i / lub jeśli można uzyskać bardzo duże pozostałości. Być może nie spotkałeś się z formalną prezentacją twierdzenia centralnego limitu Lindeberga Fellera, ale do tego właśnie odnoszą się warunki czwartej chwili, a warunek Lindeberga mówi nam w zasadzie to samo: brak nadmiernych punktów wpływu, brak nadmiernie dużej dźwigni punkty [2].$X$

2. Te teoretyczne podstawy statystyki powodują wiele nieporozumień, gdy sprowadza się je do praktycznych zastosowań. Nie ma definicji wartości odstającej, jest to koncepcja intuicyjna. Aby go z grubsza zrozumieć, obserwacja musiałaby być wysokim punktem dźwigni lub wysokim punktem wpływu, np. Takim, dla którego diagnostyka usuwania (DF beta) jest bardzo duża lub dla którego odległość Mahalanobisa w predyktorach jest duża (w statystykach jednowymiarowych to tylko wynik Z). Wróćmy jednak do kwestii praktycznych: jeśli przeprowadzę losową ankietę na temat ludzi i ich dochodów w gospodarstwach domowych, a na 100 osób, 1 z osób, które próbuję, jest milionerem, domyślam się, że milionerzy reprezentują 1% populacji . W wykładzie biostatystycznym te zasady są omawiane i podkreślane, że każde narzędzie diagnostyczne ma zasadniczo charakter eksploracyjny [3].nie „analiza, która wyklucza wartość odstającą, jest tą, w którą wierzę”, to znaczy „usunięcie jednego punktu całkowicie zmieniło moją analizę”.

3. Kurtoza jest skalowaną wielkością, która zależy od drugiego momentu rozkładu, ale założenie skończonej, niezerowej wariancji dla tych wartości jest milczące, ponieważ nie można zachować tej właściwości w czwartym momencie, ale nie w drugim. Tak w zasadzie tak, ale ogólnie nigdy nie badałem ani kurtozy, ani czwartych chwil. Nie uważam ich za praktyczny ani intuicyjny środek. W dniu, w którym powstaje histogram lub wykres rozproszenia przez pstryknięcie palcami, powinniśmy korzystać z jakościowych graficznych statystyk diagnostycznych, sprawdzając te wykresy.

[1] /math/79773/how-does-one-prove-that-lindeberg-condition-is-satisfied

[2] http://projecteuclid.org/download/pdf_1/euclid.ss/1177013818

[3] http://faculty.washington.edu/semerson/b517_2012/b517L03-2012-10-03/b517L03-2012-10-03.html