Dlaczego definicja spójnego estymatora jest taka, jaka jest? Co z alternatywnymi definicjami spójności?

Cytat z wikipedii:

W statystyce spójny estymator lub asymptotycznie spójny estymator jest estymatorem - regułą obliczania szacunków parametru mając właściwość, że wraz ze wzrostem liczby wykorzystywanych punktów danych w nieskończoność wzrasta wynikowa sekwencja estymacji z prawdopodobieństwem do . $θ^*$ $θ^*$

Aby uczynić tę instrukcję precyzyjną, niech będzie wartością prawdziwego parametru, który chcesz oszacować, i niech będzie regułą do szacowania tego parametru jako funkcji danych. Następnie definicję spójności estymatora można wyrazić w następujący sposób: $\theta^*$ $\hat\theta(S_n)$

lim_{n \to \infty} P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] = 0

$\lim_{n \to \infty} Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ]=0$

moje pytanie wydaje się powierzchowne na pierwszy rzut oka, ale brzmi: dlaczego słowo „spójność / konsekwencja” zostało użyte do opisania tego zachowania estymatora?

Powodem, dla którego mnie to obchodzi, jest to, że intuicyjnie słowo „konsekwentnie” oznacza coś innego (a przynajmniej wydaje mi się inne, być może można je wykazać jako równe). Pozwól, że powiem ci, co to oznacza na przykładzie. Powiedz „jesteś” konsekwentnie „dobry” (dla jakiejś definicji dobra), a następnie konsekwentny oznacza, że za każdym razem, gdy masz szansę udowodnić / pokazać mi, że jesteś dobry, rzeczywiście udowodnisz mi, że jesteś dobry, za każdym razem (lub przynajmniej przez większość czasu).

Zastosujmy moją intuicję, aby zdefiniować spójność estymatora. Niech „ty” będzie funkcją obliczeniową i niech „dobry” oznacza, jak daleko jesteś od prawdziwej oceny (dobrze, w sensie , dlaczego nie). Zatem lepsza definicja spójności byłaby: $\hat{\theta}$ $\theta^*$ $l_1$

\forall n, \forall S_{n}, P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] < δ

$\forall n,\forall S_n, Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ] < \delta$

Chociaż może to być mniej przydatna definicja spójności, ma dla mnie większy sens sposób, w jaki zdefiniowałbym spójność, ponieważ dla każdego zestawu treningów / próbek, które rzucisz do mojego estymatora , będę mógł zrobić dobra robota, tzn. konsekwentnie będę dobrze sobie radził. Wiem, że to trochę nierealne, aby zrobić to dla wszystkich n (prawdopodobnie niemożliwe), ale możemy naprawić tę definicję, mówiąc: $\hat\theta$

\exists n_{0}, \forall n \geq n_{0}, \forall S_{n}, P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] < δ

$\exists n_0, \forall n \geq n_0,\forall S_n, Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ] < \delta$

tzn. dla wystarczająco dużego n nasz estymator nie zrobi gorszego niż (tj. nie więcej niż od „prawdy”) od prawdziwej ( próbuje uchwycić intuicję, której potrzebujesz przynajmniej pewną liczbę przykładów na naukę / oszacowanie czegokolwiek, a gdy już osiągniesz tę liczbę, twój estymator będzie robił dobrze przez większość czasu, jeśli będzie zgodny ze sposobem, w jaki staramy się to zdefiniować). $\epsilon$ $\epsilon$ $\theta^*$ $n_0$

Jednak poprzednia definicja jest zbyt silna, być może moglibyśmy pozwolić nam mieć małe prawdopodobieństwo bycia dalekim od dla większości zestawów treningowych o rozmiarze (tj. Nie wymaga tego dla wszystkich , ale ponad rozkład $\theta^*$ $n \geq n_0$ $S_n$ $S_n$ lub coś w tym rodzaju). Tak więc bardzo rzadko będziemy mieli wysoki błąd w przypadku większości zestawów próbek / treningów, które mamy.

Tak czy inaczej, moje pytanie brzmi: czy te proponowane definicje „spójności” są faktycznie takie same jak „oficjalna” definicja spójności, ale trudno jest udowodnić równoważność? Jeśli znasz dowód, podziel się nim! A może moja intuicja jest kompletnie wyłączona i czy istnieje głębszy powód, aby wybierać spójność definicji w sposób, w jaki jest ona zwykle definiowana? Dlaczego („oficjalna”) spójność jest zdefiniowana w taki sposób?

Niektóre moje przemyślenia na temat potencjalnego dowodu na jakąś równoważność, a może podobieństwo między moim pojęciem spójności a przyjętym pojęciem spójności, może polegać na rozwikłaniu definicji ograniczenia w oficjalnej definicji spójności przy użyciu definicja limitu. Nie byłem jednak w 100% pewien, jak to zrobić, a nawet gdybym próbował, oficjalna definicja spójności nie wydaje się brać pod uwagę mówienia o wszystkich potencjalnych zestawach szkoleń / próbek. Ponieważ uważam, że są one równoważne, czy podana przeze mnie oficjalna definicja jest niepełna (tj. Dlaczego nie mówi o zestawach danych, które moglibyśmy, ani o wszystkich różnych zestawach danych, które mogłyby wygenerować nasze zestawy próbek)? $(\epsilon, \delta)-$

Jedną z moich ostatnich myśli jest to, że każda definicja, którą podajemy, powinna być również precyzyjna, o czyim prawdopodobieństwie mówimy, czy to czy . Uważam, że kandydat powinien również być precyzyjny, jeśli cokolwiek to gwarantuje, jeśli gwarantuje to pewną stałą dystrybucję lub wrt do wszystkich możliwych dystrybucji do zestawów szkoleniowych ... prawda? $P_x$ $P_{S_n}$

machine-learning mathematical-statistics consistency

— Charlie Parker
źródło

(+1) Kreatywne myślenie. Dziękujemy za podzielenie się z nami tym. Wierzę, że będę w stanie przedstawić tutaj kilka przemyśleń.

— Alecos Papadopoulos,

Pierwsza definicja jest mało przydatna, ponieważ wymaga dużej dokładności wszystkich estymatorów. Drugi nie ma sensu, ponieważ próbuje kontrolować pojedynczą zmienną logiczną pomocą wielu kwantyfikatorów.

n

$n$

— whuber

Rozważ drugie wstępne zdanie OP, nieco zmodyfikowane,

\begin{matrix} (1) & \forall θ \in Θ, ϵ > 0, δ > 0, S_{n}, \exists n_{0} (θ, ϵ, δ) : \forall n \geq n_{0}, P_{n} [| \hat{θ} (S_{n}) - θ^{*} | \geq ϵ] < δ \end{matrix}

$\forall \theta\in \Theta, \epsilon>0, \delta>0, S_n, \exists n_0(\theta, \epsilon, \delta): \forall n \geq n_0,\;\\P_n\big[|{\hat \theta(S_{n}}) - \theta^*|\geq \epsilon \big] < \delta \tag{1}$

Badamy ograniczoną w sekwencję liczb rzeczywistych $[0,1]$

{P_{n} [| \hat{θ} (S_{n}) - θ^{*} | \geq ϵ]}

$\big\{ P_n\big[|{\hat\theta(S_{n}}) - \theta^*|\geq \epsilon \big]\big\}$

indeksowane przez . Jeśli ta sekwencja ma limit , nazwij to po prostu , będziemy to mieli $n$ $n\rightarrow \infty$ $p$

\begin{matrix} (2) & \forall θ \in Θ, ϵ > 0, δ > 0, S_{n}, \exists n_{0} (θ, ϵ, δ) : \forall n \geq n_{0}, | P_{n} [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] - p | < δ \end{matrix}

$\forall \theta\in \Theta, \epsilon>0, \delta>0, S_n,\,\exists n_0(\theta, \epsilon, \delta): \forall n \geq n_0,\;\\\Big| P_n\big[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon \big] -p\Big|< \delta \tag{2}$

Więc jeśli założymy (lub wymagamy) , zasadniczo zakładamy (lub wymagamy), że limit jako istnieje i jest równy zero, . $(1)$ $n\rightarrow \infty$ $p=0$

Więc czyta „limit ponieważ wynosi ”. Jest to dokładnie obecna definicja spójności (i tak, obejmuje „wszystkie możliwe próbki”) $(1)$ $P_n\big[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon\big]$ $n\rightarrow \infty$ $0$

Wygląda więc na to, że PO zasadniczo zaproponował alternatywne wyrażenie dla dokładnie tej samej właściwości, a nie innej właściwości estymatora.

DODATEK (zapomniałem części historycznej)

W „Podstawach teorii prawdopodobieństwa” (1933) Kołmogorow wspomina w przypisie (koncepcja zbieżności prawdopodobieństwa)

„... to zasługa Bernoulli; jego całkowicie ogólne traktowanie zostało wprowadzone przez EESlutsky”.

(w 1925 r.). Dzieło Słuckiego jest w języku niemieckim - może być nawet kwestia tego, jak niemieckie słowo zostało przetłumaczone na angielski (lub termin używany przez Bernoullego). Ale nie próbuj wczytywać zbyt wiele w słowo.

— Alecos Papadopoulos
źródło