Dlaczego potrzebujemy estymatora, aby był spójny?

15

Myślę, że zrozumiałem już matematyczną definicję spójnego estymatora. Popraw mnie, jeśli się mylę:

$W_n$ jest spójnym estymatorem dla $\theta$ jeśli $\forall \epsilon>0$

lim_{n \to \infty} P (| W_{n} - θ | > ϵ) = 0, \forall θ \in Θ

$\lim_{n\to\infty} P(|W_n - \theta|> \epsilon) = 0, \quad \forall\theta \in \Theta$

Gdzie jest przestrzenią parametryczną. Ale chcę zrozumieć, że estymator musi być spójny. Dlaczego niespójny estymator jest zły? Czy możesz podać mi kilka przykładów? $\Theta$

Akceptuję symulacje w języku R lub python.

estimation consistency

— Fam
źródło

3

Estymator, który nie jest spójny, nie zawsze jest zły. Weźmy na przykład niespójnego, ale bezstronnego estymatora. Zobacz artykuł Wikipedii na temat spójnego estymatora en.wikipedia.org/wiki/Consistent_estimator , w szczególności rozdział na temat uprzedzeń a spójności

— compbiostats

Spójność jest z grubsza optymalnym asymptotycznym zachowaniem estymatora. Wybieramy estymator, który na dłuższą metę zbliża się do prawdziwej wartości . Ponieważ jest to tylko zbieżność według prawdopodobieństwa, ten wątek może być pomocne: stats.stackexchange.com/questions/134701/... .

θ

$\theta$

— StubbornAtom

@StubbornAtom, nazwałbym taki spójny estymator „optymalnym”, ponieważ termin ten jest zwykle zarezerwowany dla estymatorów, które również są w pewnym sensie wydajne.

— Christoph Hanck

22

Jeśli estymator nie jest spójny, nie zbiegnie się z prawdziwą wartością prawdopodobieństwa . Innymi słowy, zawsze istnieje prawdopodobieństwo, że twój estymator i rzeczywista wartość będą miały różnicę, bez względu na to, ile masz punktów danych. To jest naprawdę złe, ponieważ nawet jeśli zbierzesz ogromną ilość danych, twoje oszacowanie zawsze będzie miało dodatnie prawdopodobieństwo, że będzie się różnić o od prawdziwej wartości. Praktycznie możesz uznać tę sytuację, jakbyś używał oszacowania ilości takiego, że nawet badanie całej populacji, zamiast małej próbki, nie pomoże. $\epsilon>0$

— pistolety
źródło

21

Rozważmy obserwacji ze standardowego rozkładu Cauchy'ego, który jest taki sam jak rozkład t Studenta z 1 stopniem swobody. Ogony tego rozkładu są na tyle ciężkie, że nie ma to żadnego znaczenia; rozkład jest wyśrodkowany na jego medianie $n = 10\,000$ $\eta = 0.$

Sekwencja próbki oznacza, że nie jest spójny dla środka rozkładu Cauchy'ego. Z grubsza mówiąc, trudność polega na tym, że występują bardzo ekstremalne obserwacje (dodatnie lub ujemne) z wystarczającą regularnością, że nie ma szans, że zbiegnie się do ( są nie tylko powolne, ale nie zawsze zbieżność. Rozkład jest znowu standardem Cauchy'ego [ dowód ].) $A_j = \frac 1j \sum_{i=1}^j X_i$ $X_i$ $A_j$ $\eta = 0.$ $A_j$ $A_j$

Dla kontrastu, na każdym etapie ciągłego procesu próbkowania, około połowa obserwacji będzie leżeć po obu stronach tak że sekwencja median próbki nie zbiegnie się z $X_i$ $\eta,$ $H_j$ $\eta.$

Ten brak zbieżności i zbieżności ilustruje następująca symulacja. $A_j$ $H_j$

set.seed(2019)  # for reproducibility
n = 10000;  x = rt(n, 1);  j = 1:n
a = cumsum(x)/j
h = numeric(n)
for (i in 1:n) {
  h[i] = median(x[1:i])  } 
par(mfrow=c(1,2))
 plot(j,a, type="l", ylim=c(-5,5), lwd=2,
    main="Trace of Sample Mean")
  abline(h=0, col="green2")
  k = j[abs(x)>1000] 
  abline(v=k, col="red", lty="dotted")
 plot(j,h, type="l", ylim=c(-5,5), lwd=2,
     main="Trace of Sample Median")
  abline(h=0, col="green2") 
par(mfrow=c(1,1))

Oto lista kroków, na których Możesz zobaczyć wpływ niektórych z tych ekstremalnych obserwacji na średnie bieżące na wykresie po lewej stronie (na pionowych czerwonych kropkowanych liniach). $|X_i| > 1000.$

k = j[abs(x)>1000]
rbind(k, round(x[k]))
   [,1] [,2] [,3]  [,4] [,5]  [,6]   [,7]  [,8]
k   291  898 1293  1602 2547  5472   6079  9158
  -5440 2502 5421 -2231 1635 -2644 -10194 -3137

Ważna jest spójność w estymacji: Przy pobieraniu próbek z populacji Cauchy'ego średnia próbki z próby obserwacji nie jest lepsza do oszacowania centrum niż tylko jedna obserwacja. Natomiast spójna mediana próbki jest zbieżna z więc większe próbki dają lepsze oszacowania. $n = 10\,000$ $\eta$ $\eta,$

— BruceET
źródło

1

Trochę podchwytywanie, ale twoja symulacja pokazuje, że niepowodzenie próbki oznacza prawie pewne, nie prawdopodobne, zejście się do centrum Cauchy'ego (spójność silna kontra słaba).

— aleshing

9

Naprawdę prostym przykładem tego, dlaczego tak ważne jest, aby myśleć o spójności, na którą nie uważam, że zwraca wystarczającą uwagę, jest nadmiernie uproszczony model.

Jako przykład teoretyczny załóżmy, że chciałbyś dopasować model regresji liniowej do niektórych danych, w których prawdziwe efekty były faktycznie nieliniowe. Zatem twoje przewidywania nie mogą być spójne dla prawdziwej średniej dla wszystkich kombinacji zmiennych towarzyszących, podczas gdy bardziej elastyczne mogą być w stanie. Innymi słowy, uproszczony model będzie miał niedociągnięcia, których nie można przezwyciężyć za pomocą większej ilości danych.

— Cliff AB
źródło

Niekoniecznie jest to prawdą, ponieważ liniowe modele regresji „zawsze dopasować”, w tym sensie, że

. można argumentować, że model jest w porządku, ale „błąd” zakłada, że reszty mają identyczny rozkład normalny.

y_{i} = {\hat{y}}_{i} + {\hat{e}}_{i}

$y_i=\hat{y}_i+\hat{e}_i$

— probabilityislogic

8

@BruceET udzielił już doskonałej odpowiedzi technicznej, ale chciałbym dodać punkt o interpretacji tego wszystkiego.

Jednym z podstawowych pojęć w statystykach jest to, że wraz ze wzrostem wielkości próby możemy dojść do bardziej precyzyjnych wniosków na temat naszego podstawowego rozkładu. Można by pomyśleć o tym, że pobieranie wielu próbek eliminuje przypadkowe fluktuacje danych, dzięki czemu uzyskujemy lepsze pojęcie o podstawowej strukturze.

Przykłady twierdzeń z tej żyły jest obfite, ale najbardziej znanym jest Prawo Dużych Liczb, stwierdzające, że jeśli mamy rodzinę zmiennych losowych iid $(X_i)_{i\in\mathbb{N}} \$ i $\mathbb{E}[X_1] < \infty$ , to

\frac{1}{n} \sum_{k = 1}^{n} X_{k} \to E [X] a.s.

$\frac{1}{n} \sum_{k = 1}^n X_k \rightarrow \mathbb{E}[X] \ \ \ \text{a.s.}$

Teraz, aby wymagać, aby estymator był spójny, wymagaj, aby przestrzegał także tej reguły: Ponieważ jego zadaniem jest oszacowanie nieznanego parametru, chcielibyśmy, aby był on zbieżny z tym parametrem (czytaj: estymuj ten parametr arbitralnie dobrze) jako naszą próbką rozmiar dąży do nieskończoności.

Równanie

lim_{n \to \infty} P (| W_{n} - θ | > ϵ) = 0, \forall ϵ > 0 \forall θ \in Θ

$\lim_{n\to\infty} P(|W_n - \theta|> \epsilon) = 0, \quad \forall\epsilon > 0\ \forall\theta \ \in \Theta$

$W_n$ $\theta$

$[\theta - \varepsilon, \theta + \varepsilon]$ $\theta$

— Marc Vaisband
źródło