Jaka jest różnica między spójnym estymatorem a obiektywnym estymatorem?

125

Jestem naprawdę zaskoczony, że wydaje się, że nikt już o to nie pytał ...

Podczas omawiania estymatorów dwa często używane terminy są „spójne” i „obiektywne”. Moje pytanie jest proste: jaka jest różnica?

Dokładne techniczne definicje tych terminów są dość skomplikowane i trudno jest zrozumieć ich znaczenie . Mogę sobie wyobrazić dobry estymator i zły estymator, ale mam problem z dostrzeżeniem, w jaki sposób dowolny estymator może spełnić jeden warunek, a nie drugi.

unbiased-estimator estimators consistency

— MathematicalOrchid
źródło

Czy spojrzałeś na pierwszą liczbę w artykule w Wikipedii na temat spójnych estymatorów , która konkretnie wyjaśnia to rozróżnienie?

— whuber

Przeczytałem artykuły zarówno ze względu na spójność, jak i uprzedzenie, ale nadal nie rozumiem tego rozróżnienia. (Liczba, do której się odwołujesz, twierdzi, że estymator jest spójny, ale stronniczy, ale nie wyjaśnia, dlaczego ).

— MathematicalOrchid

W której części wyjaśnienia potrzebujesz pomocy? Podpis wskazuje, że każdy z estymatorów w sekwencji jest stronniczy, a także wyjaśnia, dlaczego sekwencja jest spójna. Czy potrzebujesz wyjaśnienia, w jaki sposób odchylenie w tych estymatorach wynika z tego rysunku?

— whuber

+1 Wątek komentarza po jednej z tych odpowiedzi jest bardzo pouczający, zarówno ze względu na to, co ujawnia na dany temat, jak i jako ciekawy przykład tego, jak społeczność internetowa może pracować, aby ujawnić i naprawić nieporozumienia.

— whuber

Powiązane: stats.stackexchange.com/questions/173152/...

— kjetil b halvorsen

Odpowiedzi:

126

Aby zdefiniować dwa terminy bez użycia zbyt dużego języka technicznego:

Estymator jest spójny, jeśli wraz ze wzrostem wielkości próby oszacowania (wytworzone przez estymator) „zbiegają się” z prawdziwą wartością szacowanego parametru. Mówiąc nieco dokładniej - spójność oznacza, że wraz ze wzrostem wielkości próby rozkład próbkowania estymatora staje się coraz bardziej skoncentrowany na rzeczywistej wartości parametru.
Estymator jest bezstronny, jeśli średnio osiąga prawdziwą wartość parametru. Oznacza to, że średnia rozkładu próbkowania estymatora jest równa rzeczywistej wartości parametru.
Te dwa nie są równoważne: Bezstronność jest stwierdzeniem o oczekiwanej wartości rozkładu próbkowania estymatora. Spójność to stwierdzenie dotyczące „dokąd zmierza rozkład próbkowania estymatora” wraz ze wzrostem wielkości próby.

Z pewnością możliwe jest spełnienie jednego warunku, ale nie drugi - podam dwa przykłady. Dla obu przykładów rozważyć przykładowy z populacji . $X_1, ..., X_n$ $N(\mu, \sigma^2)$

Bezstronny, ale niespójny: Załóżmy, że szacujesz . Zatem jest obiektywnym estymatorem ponieważ . Ale nie jest spójny, ponieważ jego rozkład nie staje się bardziej skoncentrowany wokół wraz ze wzrostem wielkości próbki - zawsze wynosi ! $\mu$ $X_1$ $\mu$ $E(X_1) = \mu$ $X_1$ $\mu$ $N(\mu, \sigma^2)$
Spójny, ale nie bezstronny: Załóżmy, że szacujesz . Maksymalny estymator prawdopodobieństwa jest $\sigma^2$ gdzie jest średnią próbki. Faktem jest, że
${\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}$ $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$ $\overline{X}$ , który może być uzyskany z wykorzystaniem informacjio. Dlategojest dociskany do dowolnego rozmiaru próbki skończonych. Można również łatwo wyprowadzić że $mi ({\hat{σ}}^{2)}) = \frac{n - 1}{n} σ^{2)}$ $E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2$ $\hat{\sigma}^2$ $\hat{\sigma}^2$ Na podstawie tych faktów możemy zobaczyć, że nieformalny podziałstaje się coraz bardziej i bardziej skoncentrowany nawraz ze wzrostem wielkości próbki od średniej jest zbieżne doi wariancja jest zbieżny do. (Uwaga:Stanowi to dowód spójności przy użyciu tego samego argumentu, który użyto w odpowiedzitutaj) $v za r ({\hat{σ}}^{2)}) = \frac{2) σ^{4} (n - 1)}{n^{2)}}$ ${\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2}$ $\hat{\sigma}^2$ $\sigma^2$ $\sigma^2$ $0$

— Makro
źródło

(+1) Nie wszystkie MLE są jednak spójne: ogólny wynik jest taki, że istnieje spójna podsekwencja w sekwencji MLE. Aby zapewnić odpowiednią spójność, potrzebnych jest kilka dodatkowych wymagań, np. Identyfikowalność. Przykłady MLE, które nie są spójne, można znaleźć w niektórych modelach z błędami w zmiennych (gdzie „maksimum” okazuje się punktem siodłowym).

— MånsT

Cóż, MES EIV, o którym wspomniałem, może nie jest dobrym przykładem, ponieważ funkcja prawdopodobieństwa jest nieograniczona i nie istnieje żadne maksimum. Są to dobre przykłady tego, jak podejście ML może zawieść :) Przepraszam, że nie mogę teraz podać odpowiedniego linku - jestem na wakacjach.

— MånsT

Dziękuję @ MånsT. Niezbędne warunki zostały określone w linku, ale nie było to jednoznaczne z treści.

— Makro

σ^{2}

$\sigma^2$

E ({\hat{σ}}^{2}) \to σ^{2}

$E(\hat{\sigma}^2) \rightarrow \sigma^2$

v a r ({\hat{σ}}^{2}) \to 0

${\rm var}(\hat{\sigma}^2) \rightarrow 0$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

Spójność estymatora oznacza, że wraz ze wzrostem wielkości próbki oszacowanie zbliża się do prawdziwej wartości parametru. Bezstronność to skończona właściwość próbki, na którą nie ma wpływu zwiększenie wielkości próbki. Szacunek jest bezstronny, jeśli jego oczekiwana wartość jest równa prawdziwej wartości parametru. Będzie to prawdziwe dla wszystkich wielkości próbek i jest dokładne, podczas gdy konsystencja jest asymptotyczna i tylko jest w przybliżeniu równa i nie jest dokładna.

$n$

Zaktualizuj po dyskusji w komentarzach z @cardinal i @ Macro: Jak opisano poniżej, są najwyraźniej patologiczne przypadki, w których wariancja nie musi wynosić 0, aby estymator był silnie spójny, a odchylenie nawet nie musi iść do 0 albo.

— Michael Chernick
źródło

@MichaelChernick +1 za odpowiedź, ale jeśli chodzi o komentarz, wariancja spójnego estymatora niekoniecznie idzie do

. Na przykład, jeśli

0

$0$

(X_{1}, . . ., X_{n})

$(X_1,...,X_n)$

Normal (μ, 1)

$\mbox{Normal}(\mu,1)$

μ \neq 0

$\mu\neq 0$

1 / \bar{X}

$1/{\bar X}$

1 / μ

$1/\mu$

var (1 / \bar{X}) = \infty

$\mbox{var}(1/{\bar X})=\infty$

n

$n$

n

$n$

Michael, treść twojej odpowiedzi jest całkiem dobra; Myślę, że zamieszanie zostało wprowadzone w twoim pierwszym komentarzu, który prowadzi do dwóch stwierdzeń, które są po prostu fałszywe i potencjalnych punktów zamieszania. (Rzeczywiście, wielu studentów rezygnuje ze wstępnej lekcji statystyki dla absolwentów z dokładnie tymi błędnymi wyobrażeniami z powodu złego rozróżnienia między różnymi trybami konwergencji i ich znaczeniem. Twój ostatni komentarz może być nieco trudny.)

— kardynał

Niestety pierwsze dwa zdania w pierwszym komentarzu i cały drugi komentarz są fałszywe. Obawiam się jednak, że dalsze próby przekonania cię o tych faktach nie są owocne.

— kardynał

Oto wprawdzie absurdalny, ale prosty przykład. Chodzi o to, aby dokładnie zilustrować , co może pójść nie tak i dlaczego. To nie ma praktycznego zastosowania. Przykład : Rozważ typowy model iid ze skończonym drugim momentem. Niech

{\hat{θ}}_{n} = {\bar{X}}_{n} + Z_{n}

$\hat\theta_n = \bar X_n + Z_n$

Z_{n}

$Z_n$

{\bar{X}}_{n}

$\bar X_n$

Z_{n} = \pm a n

$Z_n = \pm a n$

1 / n^{2}

$1/n^2$

a > 0

$a > 0$

{\hat{θ}}_{n}

$\hat\theta_n$

a^{2}

$a^2$

{\hat{θ}}_{n} \to μ

$\hat\theta_n \to \mu$

-5

Spójność: bardzo dobrze wyjaśniona wcześniej [wraz ze wzrostem wielkości próby oszacowania (wytworzone przez estymator) „zbiegają się” z prawdziwą wartością szacowanego parametru]

Bezstronność: Spełnia założenia 1-5 MLR znane jako Twierdzenie Gaussa-Markowa

liniowość,
losowe pobieranie próbek
zero oczekiwanego błędu warunkowego średniego
brak idealnej kolinearności
homoskedastyczność

Następnie mówi się, że estymator jest NIEBIESKI (najlepszy liniowy obiektywny estymator

— Nikolina Langura
źródło