Warunki zbieżności estymatora M z prawdziwą średnią

10

Biorąc pod uwagę próbki IID z rozkładem Gaussa i estymator M, , jakie właściwości na są wystarczające do zagwarantowania prawdopodobieństwa ? Czy jest ściśle wypukłe i ściśle rośnie? $X_1,...,X_n \sim N(\mu,\sigma)$ $\mu_m = \underset{a}{\operatorname{argmin}} \sum\rho(|X_i-a|)$ $\rho$ $\mu_m \rightarrow \mu$ $\rho$

estimation

— Gąsienica
źródło

Ponieważ możesz wziąć

, a następnie

jest próbka średnia, to znaczy może być nawet nie ściśle wypukła, ale ściśle wzrasta tak, więc ... Chciałbym umieścić albo ściśle wypukła lub ściśle rośnie, zarówno wydaje być wystarczającym, choć wciąż musi to udowodnić. Intuicyjnie ścisła wypukłość zapewnia unikalne globalne minimum, dla ścisłego zwiększania znaczenia ma założenie gaussowskie.

ρ (x) = x

$\rho(x) = x$

μ_{m}

$\mu_m$

— Dmitrij Celov,

1

Pomocny może tu być artykuł Asymptotyki dla minimalizatorów procesów wypukłych autorstwa Hjorta i Pollarda, chociaż nie specjalizuje się on w rozkładach Gaussa i rozważa bardziej ogólną formę funkcji kontrastu, mianowicie , chociaż ich notacja to . Oprócz wypukłości w , wymagają rozszerzenie w wokół , w pewnym sensie, że jest związana z rozkładem danych. Nie jest to tak proste, jak samo wypowiedzenie $\rho(x,a)$ $g(y,t)$ $g$ $t$ $g$ $t$ $\theta_0$ $\rho$ jest wypukły lub rosnący, ale być może, jeśli ograniczysz twierdzenie do rozkładów Gaussa aby mieć określoną przez ciebie formę, możesz uzyskać jeszcze bardziej uporządkowany zestaw warunków. Przepiszę ich twierdzenie o kompletności, nieco sparafrazowane: $g$

Załóżmy, że mamy

$Y,Y_{1},Y_{2},\ldots$ iid z rozkładu $F$
Parametr zainteresowania $\theta_{0}=\theta(F)\in\cal{R}^{p}$
, gdzie $\theta_{0}\in\arg\min_{t\in\cal{R}^{p}}\mathbb{E} g(Y,t)$ jest wypukłe . $g(y,t)$ $t$
Mamy "słaby rozszerzenie" w w wokół : dla ze średnią zero pod i $g(y,t)$ $t$ $\theta_{0}$ $g (y, θ_{0} + t) - g (y, θ_{0}) = D (y)^{T} t + R (y, t),$ $g(y,\theta_{0}+t)-g(y,\theta_{0})=D(y)^{T}t+R(y,t),$ $D(y)$ $F$ dla pozytywnej określonej macierzy. $E R (Y, t) = \frac{1}{2} t^{T} J t + o ({| t |}^{2}), as t \to 0$ $\mathbb{E} R(Y,t)=\frac{1}{2}t^{T}Jt+o(\left|t\right|^{2}),\mbox{ as }t\to0$ $J$
jako . $\mbox{Var}[ R(Y,t) ]=o(\left|t\right|^{2})$ $t\to0$
ma skończoną macierz kowariancji $D(Y)$ . $K=\int D(y)D(y)^{T}\, dF(y)$

Wtedy każdy estymator jest $\hat{\theta}_{n}\in\arg\min_{\theta\in\cal{R}^{p}}\sum_{i=1}^{n}g(Y_{i},t)$ -konsekwentne dla i asymptotycznie normalne z $\sqrt{n}$ $\theta_{0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \overset{d}{\to} N_{p} (0, J^{- 1} K J^{- 1}) .

$\sqrt{n}\left(\hat{\theta}_{n}-\theta_{0}\right)\stackrel{d}{\rightarrow}\mathcal{N}_{p}(0,J^{-1} K J^{-1}).$

— DavidR
źródło

0

To nie będzie odpowiedź, ponieważ zmniejszy twój problem do innego, ale myślę, że może być przydatny. Twoje pytanie dotyczy w zasadzie spójności M-estymatora. Najpierw możemy spojrzeć na ogólne wyniki. Oto wynik z książki van der Vaarta (twierdzenie 5.7, strona 45):

$M_n$ $M$ $\theta$ $\varepsilon>0$

sup_{θ \in Θ} | M_{n} (θ) - M (θ) | \overset{P}{\to} 0,

$\sup_{\theta\in\Theta}|M_n(\theta)-M(\theta)|\xrightarrow{P}0,$

sup_{θ : d (θ, θ_{0}) \geq ε} M (θ) < M (θ_{0}) .

$\sup_{\theta:d(\theta,\theta_0)\ge\varepsilon} M(\theta)<M(\theta_0).$

$\hat\theta_n$ $M_n(\hat\theta_n)\ge M_n(\theta_0)-o_P(1)$ zbiega się w prawdopodobieństwie do $\theta_0$

W Twoim przypadku $\theta_0=\mu$ , $M(\theta)=E\rho(|X-\theta|)$ i $M_n(\theta)=\frac{1}{n}\sum \rho(|X_i-\theta|)$

Kluczowym warunkiem jest tutaj jednolita konwergencja. Na stronie 46 mówi van der Vaart

że dla średnich, które są twoim przypadkiem, warunek ten jest równoważny zestawowi funkcji $\{m_\theta, \theta\in\Theta\}$ ( $m_\theta=\rho(|x-\theta|)$ in your case) being Glivenko-Canteli. One simple set of sufficient conditions is that $\Theta$ be compact, that the functions $\theta\to m_\theta(x)$ are continuous for every $x$ , and that > they are dominated by an integrable function.

In Wooldridge this result is formulated as theorem called Uniform Weak Law of Large Numbers, page 347 (first edition), theorem 12.1. It only adds measurability requirements to what van der Vaart states.

In your case you can safely pick $\Theta=[\mu-C,\mu+C]$ for some $C$ , so you need to show that there exists function $b$ such that

| ρ (| x - θ |) | \leq b (x)

$|\rho(|x-\theta|)|\le b(x)$

for all $\theta\in\Theta$ , such that $Eb(X)<\infty$ . Convex function theory might be of help here, since you basicaly can take

b (x) = sup_{θ \in Θ} | ρ (| x - θ |) | .

$b(x)=\sup_{\theta\in\Theta}|\rho(|x-\theta|)|.$

If this function has nice properties then you are good to go.

— mpiktas
źródło