Czy próbka oznacza w pewnym sensie „najlepsze” oszacowanie średniej dystrybucji?

Według (słabego / silnego) prawa dużych liczb, biorąc pod uwagę niektóre punkty próbki iid rozkładu, ich średnia próbka $\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}$ zbieżne ze średnią rozkładu zarówno w prawdopodobieństwie, jak i w miarę, jak wielkość próbki idzie do nieskończoności. $f^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i$ $N$

Kiedy wielkość próbki jest ustalona, zastanawiam się, czy estymator LLN jest w pewnym sensie najlepszym estymatorem? Na przykład, $N$ $f^*$

jego oczekiwanie jest średnią rozkładu, więc jest obiektywnym estymatorem. Jego wariancja wynosi gdziejest wariancją rozkładu. Ale czy to UMVU? $\frac{\sigma^2}{N}$ $\sigma^2$
czy jest jakaś funkcja taka, że rozwiązuje problem minimalizacji: $l_0: \mathbb{R}^n \times \mathbb{R}^n \rightarrow [0,\infty)$ $f^*(\{x_i, i=1,\ldots,N\})$
$f^{*} ({x_{i}, i = 1, \dots, N}) = {argmin}_{u \in R^{n}} \sum_{i = 1}^{N} l_{0} (x_{i}, u) ?$ $f^*(\{x_i, i=1,\ldots,N\}) = \operatorname{argmin}_{u \in \mathbb{R}^n} \quad \sum_{i=1}^N l_0(x_i, u)?$
Innymi słowy, jest najlepszą opcją dla funkcji kontrastu w ramach minimalnego kontrastu (por. Rozdział 2.1 „Podstawowa heurystyka estymacji” w „ Statystyka matematyczna: podstawowe idee i wybrane tematy, tom 1 ” Bickle i Doksum). $f^*$ $l_0$

Na przykład, jeśli rozkład jest znany / ograniczony z rodziny rozkładów Gaussa, wówczas średnia próbki będzie estymatorem MLE średniej rozkładu, a MLE należy do ramy minimalnego kontrastu, a jego funkcja kontrastu jest minus log funkcja wiarygodności. $l_0$
czy jest jakaś funkcja taka, że rozwiązuje problem minimalizacji: $l: \mathbb{R}^n \times F \rightarrow [0,\infty)$ $f^*$ dla każdej dystrybucji od w pewnym rodzinnym rozkładów?
$f^{*} = {argmin}_{f} E_{iid {x_{i}, i = 1, \dots, N} each with distribution P} l (f ({x_{i}, i = 1, \dots, N}), P) ?$ $f^* = \operatorname{argmin}_{f} \quad \operatorname{E}_{\text{iid }\{x_i, i=1,\ldots,N\} \text{ each with distribution }P } \quad l(f(\{x_i, i=1,\ldots,N\}), P)?$ $P$ $x_i$ $F$
Innymi słowy, jest najlepszym rozwiązaniem dla niektórych utraconych funkcji i niektórych rodzin rozkładów w ramach teoretycznych decyzji (por. Sekcja 1.3 „Teoretyczne ramy decyzyjne” w „ Statystyka matematyczna: podstawowe idee i wybrane tematy, tom 1 ” autorstwa Bickle i Doksum). $f^*$ $l$ $F$

Zauważ, że powyższe są trzema różnymi interpretacjami dla „najlepszej” oceny, którą znałem do tej pory. Jeśli znasz inne możliwe interpretacje, które mogą mieć zastosowanie do estymatora LLN, nie wahaj się o tym również wspomnieć.

estimation expected-value law-of-large-numbers

— Tim
źródło

Innym sposobem, aby scharakteryzować estymator: Proszę przeczytać o Spójne prognozy tutaj . Średnia próbki jest spójna ze względu na LLN.

— Rohit Banga

Średnia próbki ma wiele miłych i interesujących właściwości, ale czasami nie są najlepsze, jakie można mieć w konkretnej sytuacji. Jednym z przykładów są przypadki, w których obsługa rozkładu zależy od wartości parametru. Rozważ

, a następnie

X_{1}, X_{2}, \dots, X_{n} \sim U (0, θ)

$X_1, X_2, \ldots, X_n \sim \mathcal{U}(0,\theta)$

jest obiektywnym estymatorem średniej rozkładu

ale nie jest to UMVUE, na przykład obiektywne szacunki oparte na statystyce największego rzędu

\frac{1}{n} \sum_{i = 1}^{n} X_{i}

$\frac{1}{n} \sum_{i=1}^{n} X_i$

θ

$\theta$

będzie mieć mniejszą wariancję niż średnia z próby.

\frac{n + 1}{n} X_{(n)}

$\frac{n+1}{n}X_{(n)}$

— VitalStatistix

Dzięki! Ale jak oblicza się jego wariancję?

— Tim

Y = X_{(n)}

$Y=X_{(n)}$

f (y) = \frac{n y^{n - 1}}{θ^{n}}; y \in (0, θ)

$f(y)= \frac{ny^{n-1}}{{\theta}^n} ; y\in (0,\theta)$

\frac{n}{n + 1} Y

$\frac{n}{n+1}Y$

V a r (\frac{n}{n + 1} Y) = \frac{1}{n (n + 2)} θ^{2}

$Var(\frac{n}{n+1}Y)=\frac{1}{n(n+2)}\theta^2$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{1}{n}

$\frac{1}{n}$

[0, θ]

$[0, \theta]$

θ / 2

$\theta/2$

θ

$\theta$

$l_0$ $(x-u)^2$ $(x-u)'(x-u)$

Estymator minimalnego kontrastu jest, w pewnych warunkach technicznych, zarówno spójny, jak i asymptotycznie normalny. Dla średniej próbki wynika to już z LLN i centralnego twierdzenia granicznego. Nie wiem, czy estymatory minimalnego kontrastu są w jakikolwiek sposób „optymalne”. Zaletą estymatorów minimalnego kontrastu jest to, że wiele solidnych estymatorów (np. Mediana, estymatory Hubera, kwantyle próbne) należą do tej rodziny, i możemy stwierdzić, że są one spójne i asymptotycznie normalne, po prostu stosując ogólne twierdzenie o estymatorach minimalnego kontrastu, więc dopóki sprawdzimy niektóre warunki techniczne (choć często jest to o wiele trudniejsze niż się wydaje).

Jednym pojęciem optymalności, o którym nie wspominasz w pytaniu, jest wydajność, która, z grubsza mówiąc, dotyczy tego, jak duża próbka jest potrzebna do oszacowania określonej jakości. Zobacz http://en.wikipedia.org/wiki/Efficiency_(statistics)#Asymptotic_fficiency w celu porównania wydajności średniej i mediany (średnia jest bardziej wydajna, ale mediana jest bardziej odporna na wartości odstające).

$x_i$

$f^*$ $P$ $f^*$ $\max_{P\in F}$ $P\in F$ $P$ $P$

— DavidR
źródło

Dzięki! Czy istnieją jakieś dobre odniesienia do właściwości estymatora minimalnego kontrastu, takie jak spójny i asymptotycznie normalny, a także przykłady, takie jak mediana, estymatory Hubera, kwantyle próbek?

— Tim

Sekcja 5.2.2 cytowanej przez ciebie książki Bickel & Doksum zawiera twierdzenie o zgodności estymatorów minimalnego kontrastu. Rozdział 5.4.2 omawia asymptotyczną normalność. Innym źródłem, które polecam i które omawia inne estymatory, o których wspominam, jest książka Asymptotic Statistics van der Vaarta . Rozdział 5 dotyczy M-estymatorów, jak nazywa się estymatory minimalnego kontrastu.

— DavidR

R^{n}

$\mathbb{R}^n$

l_{2}

$l_2$

Mam na myśli standardową normę euklidesową - zmieniłem ją na notację wektorową w celu wyjaśnienia.

— DavidR

l

$l$