Jest asymptotycznie skuteczny w warunkach heteroscedastyczności

Wiem, że OLS jest bezstronny, ale nieskuteczny przy heteroscedastyczności w ustawieniu regresji liniowej.

W Wikipedii

http://en.wikipedia.org/wiki/Minimum_mean_square_error

Estymator MMSE jest asymptotycznie obiektywny i zbiega się w rozkładzie do rozkładu normalnego: , gdzie I (x) to informacja Fishera dla x. Zatem estymator MMSE jest asymptotycznie wydajny. $\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$

Twierdzi się, że MMSE działa asymptotycznie. Jestem tu trochę zdezorientowany.

Czy to oznacza, że OLS nie jest skuteczny w próbce skończonej, ale skuteczny asymptotycznie przy heteroscedastyczności?

Krytyka obecnych odpowiedzi: jak dotąd proponowane odpowiedzi nie uwzględniają ograniczającego rozkładu.

Z góry dziękuję

least-squares heteroscedasticity efficiency

— Cagdas Ozgenc
źródło

To dość długi artykuł na Wikipedii. Ponieważ dodatkowo mogą ulec zmianie, czy mógłbyś zacytować ten fragment powodujący zamieszanie?

— hejseb

Informacje Fishera pochodzą z funkcji wiarygodności. Oznacza to domyślnie, że prawdopodobieństwo zostało poprawnie określone. tzn. stwierdzenie, do którego się odwołujesz, zakłada, że jeśli występuje jakakolwiek heteroscedastyczność, regresja została zważona w taki sposób, że heteroscedastyczność została poprawnie określona. Zobacz en.wikipedia.org/wiki/Least_squares#Weighted_least_squares . W praktyce często nie znamy formy heteroscedastyczności, dlatego czasami akceptujemy nieefektywność, zamiast ryzykować przesunięcie regresji przez pominięcie schematów ważenia.

— Zachary Blumenfeld

@ZacharyBlumenfeld W artykule nie założono rozkładu x. Jak skończyliśmy z informacjami Fishera?

— Cagdas Ozgenc

Zobacz en.wikipedia.org/wiki/Fisher_information Artykuł sugeruje dystrybucję na i gdy przyjmuje oczekiwania w sekcji definicji. Zauważ, że nigdy nie zakładano homoscedastyczności. W kontekście OLS homoscedaktyczność przyjęła , matrycę tożsamości. Heteroscedaktyczność pozwala na , dowolne diagonalne dodatnie półokreślone. Korzystanie doprowadziłoby do różnych informacji Fisher niż byłoby używając .

x

$x$

e

$e$

e \sim N (0, σ I)

$\mathbf{e} \sim N(0,\sigma I)$

I

$I$

e \sim N (0, D)

$\mathbf{e} \sim N(0,D)$

D

$D$

D

$D$

σ I

$\sigma I$

— Zachary Blumenfeld

gdzie mogę zobaczyć dowód na to, że „MMSE jest zbieżny w rozkładzie do rozkładu normalnego?”

— Hajir

Odpowiedzi:

Artykuł nigdy nie zakładał homoskadastyczności w definicji. Aby umieścić to w kontekście artykułu, homoskedastyczność oznacza Gdzie jest matrycą tożsamości, a jest skalarna liczba dodatnia. Heteroscadasticity pozwala

E {(\hat{x} - x) (\hat{x} - x)^{T}} = σ I

$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$

I

$I$

n \times n

$n\times n$

σ

$\sigma$

E {(\hat{x} - x) (\hat{x} - x)^{T}} = D

$E\{(\hat x-x)(\hat x-x)^T\}=D$

Wszelkie diaganol dodatnio określona. Artykuł definiuje macierz kowariancji w najbardziej ogólny możliwy sposób, jako środkowy drugi moment pewnego niejawnego rozkładu wielozmiennego. musimy znać wielowymiarowy rozkład aby uzyskać asymptotycznie wydajne i spójne oszacowanie . Będzie to wynikało z funkcji prawdopodobieństwa (która jest obowiązkowym składnikiem a posteriori). Załóżmy na przykład (tj. . Wtedy domyślną funkcją prawdopodobieństwa jest Gdzie jest wielowymiarowym normalnym plikiem pdf. $D$ $e$ $\hat x$ $e \sim N(0,\Sigma)$ $E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$

\log [L] = \log [ϕ (\hat{x} - x, Σ)]

$\log[L]=\log[\phi(\hat x -x, \Sigma)]$

ϕ

$\phi$

Macierz informacji Fishera może być zapisana jako informacji na en.wikipedia.org/wiki/Fisher_information. Stąd możemy uzyskać Powyższe używa funkcji straty kwadratowej, ale nie zakłada homoscedastyczność.

I (x) = E [(\frac{\partial}{\partial x} \log [L])^{2} | x]

$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$

\sqrt{n} (\hat{x} - x) \to^{d} N (0, I^{- 1} (x))

$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$

W kontekście OLS, gdzie regresujemy na , przyjmujemy Implikowane prawdopodobieństwo to który może być dogodnie przepisany jako univariate normal pdf. Informacja Fishera to $y$ $x$

E {y | x} = x^{'} β

$E\{y|x\}=x'\beta$

\log [L] = \log [ϕ (y - x^{'} β, σ I)]

$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$

\log [L] = \sum_{i = 1}^{n} \log [φ (y - x^{'} β, σ)]

$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$

φ

$\varphi$

I (β) = [σ (x x^{'})^{- 1}]^{- 1}

$I(\beta)=[\sigma (xx')^{-1}]^{-1}$

Jeśli homoskedastyczność nie jest spełniona, wówczas informacja Fishera, jak podano, jest pominięta (ale funkcja warunkowego oczekiwania jest nadal poprawna), więc oszacowania będą spójne, ale nieefektywne. Możemy przepisać prawdopodobieństwo uwzględnienia heteroskaktyczności, a regresja jest skuteczna, tzn. Możemy zapisać Jest to równoważne z pewnymi formami uogólnionych najmniejszych kwadratów , takie jak Ważone najmniejsze kwadraty. Jednak tak będzie $\beta$

\log [L] = \log [ϕ (y - x^{'} β, D)]

$\log[L]=\log[\phi(y-x'\beta, D)]$ zmień matrycę informacji Fishera. W praktyce często nie znamy formy heteroscedastyczności, dlatego czasem wolimy raczej zaakceptować nieefektywność niż sprzyjać regresji poprzez pominięcie schematów ważenia. W takich przypadkach asymptotyczna kowariancja nie jest jak określono powyżej.

β

$\beta$

\frac{1}{n} I^{- 1} (β)

$\frac{1}{n}I^{-1}(\beta)$

— Zachary Blumenfeld
źródło

Dziękuję za cały czas, który spędziłeś. Myślę jednak, że ten wpis na wiki to bzdury. MMSE nie da wydajności i nigdzie nie jest określone, że próbki są odpowiednio ważone. Co więcej, nawet jeśli założymy, że próbki są ważone, nadal nie jest to skuteczny estymator, chyba że rozkład jest Gaussowski, co również nie jest określone.

— Cagdas Ozgenc

@CagdasOzgenc Z szacunkiem się nie zgadzam. Artykuł jest sformułowany w ogólny sposób bayesowski, który może obejmować regresję, ale także wiele innych modeli (wydaje się, że jest bardziej ukierunkowany na filtr Kalmana). Prawdopodobieństwo jest najbardziej efektywnym estymatorem, gdy jest znane, jest to podstawowa właściwość prawdopodobieństwa. To, co mówisz, odnosi się ściśle do podzbioru modeli regresji (choć jest to jeden z najczęściej stosowanych modeli), w których zakłada się normalność przy ustalaniu warunków pierwszego rzędu.

— Zachary Blumenfeld

Sam to powiedziałeś. Niestety artykuł nie dotyczy estymatora prawdopodobieństwa. Jest to estymator minimalnego średniego kwadratu, który jest skuteczny, gdy spełnione są określone warunki.

— Cagdas Ozgenc

W porządku, zgadzam się nie zgadzać :) Być może istnieje konflikt z definicją MMSE między tym, jak jest on używany w najczęstszej regresji, a tym, jak jest stosowany tutaj w bardziej bayesowskim otoczeniu. Być może powinni wymyślić dla niego nową nazwę. Niemniej jednak prawdopodobieństwa (lub inne szacunki nieparametryczne) są implikowane przy podejmowaniu niezależnych oczekiwań względem każdej pojedynczej kwadratowej wartości resztkowej. szczególnie w otoczeniu bayesowskim (inaczej jak byśmy to oszacowali?). Po Googlingu znalazłem wiele podobnych wyników do tego na Wikipedii. W każdym razie zgadzam się, że terminologia jest nadużywana.

— Zachary Blumenfeld

Nie, OLS nie jest wydajny w przypadku heteroscedastyczności. Wydajność estymatora uzyskuje się, jeżeli estymator ma najmniejszą wariancję wśród innych możliwych estymatorów. Oświadczenia o wydajności w OLS są dokonywane niezależnie od ograniczającego rozkładu estymatora.

— losowa osoba
źródło