Rodzina wykładnicza: obserwowane a oczekiwane wystarczające statystyki

Moje pytanie wynika z przeczytania „Szacowania rozkładu Dirichleta” Minki , który stwierdza bez dowodu w kontekście wyprowadzenia estymatora największego prawdopodobieństwa dla rozkładu Dirichleta na podstawie obserwacji losowych wektorów:

Jak zawsze w przypadku rodziny wykładniczej, gdy gradient wynosi zero, oczekiwane wystarczające statystyki są równe zaobserwowanym wystarczającym statystykom.

Nie widziałem oszacowania maksymalnego prawdopodobieństwa w wykładniczej rodzinie przedstawionej w ten sposób, ani nie znalazłem żadnych odpowiednich wyjaśnień w moich poszukiwaniach. Czy ktoś może zaoferować wgląd w związek między zaobserwowanymi a oczekiwanymi wystarczającymi statystykami i być może pomóc zrozumieć szacunek maksymalnego prawdopodobieństwa jako minimalizujący różnicę?

Jest to zwykłe twierdzenie o rodzinie wykładniczej, ale moim zdaniem większość razy jest wyrażane w sposób, który może dezorientować mniej doświadczonego czytelnika. Ponieważ, biorąc pod uwagę wartość nominalną, można to interpretować jako „jeśli nasza zmienna losowa podąża za rozkładem w rodzinie wykładniczej, to jeśli weźmiemy próbkę i wstawimy ją do wystarczającej statystyki, uzyskamy prawdziwą oczekiwaną wartość statystyki „. Gdyby tak było ... Co więcej, nie uwzględnia wielkości próbki, co może powodować dalsze zamieszanie.

Wykładnicza funkcja gęstości to

$$f_X(x) = h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)} \tag{1}$$

gdzie $T(x)$ jest wystarczającą statystyką.

Ponieważ jest to gęstość, musi zintegrować się z jednością, więc ($S_x$ jest wsparciem $X$)

$$\int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =1 \tag{2}$$

Równ. $(2)$ trzyma dla wszystkich $\theta$ abyśmy mogli rozróżnić obie strony pod tym względem:

$$\frac {\partial}{\partial \theta} \int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =\frac {\partial (1)}{\partial \theta} =0 \tag{3}$$

Otrzymujemy zamieniając kolejność różnicowania i integracji

$$\int_{S_x} \frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right)dx =0 \tag{4}$$

Przeprowadzając zróżnicowanie, które mamy

$$\frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right) = f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big] \tag{5}$$

Wstawianie $(5)$ w $(4)$ dostajemy

$$\int_{S_x} f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big]dx =0$$

$$\Rightarrow \eta'(\theta)E[T(X)] - A'(\theta) = 0 \Rightarrow E[T(X)] = \frac {A'(\theta)}{\eta'(\theta)} \tag{6}$$

Teraz pytamy: po lewej stronie $(6)$jest liczbą rzeczywistą. Zatem prawa strona musi być także liczbą rzeczywistą, a nie funkcją . Dlatego należy to oceniać w konkretny sposób$\theta$i powinna być „prawdziwa” $\theta$, w przeciwnym razie po lewej stronie nie mielibyśmy prawdziwej oczekiwanej wartości $T(X)$. Aby to podkreślić, oznaczamy prawdziwą wartość przez$\theta_0$i piszemy ponownie $(6)$ tak jak

$$E_{\theta_0}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\theta_0} \tag{6a}$$

Przechodzimy teraz do oszacowania maksymalnego prawdopodobieństwa . Prawdopodobieństwo dziennika dla próbki wielkości$n$ jest

$$L(\theta \mid \mathbf x) = \sum_{i=1}^n\ln h(x_i) +\eta(\theta)\sum_{i=1}^nT(x_i) -nA(\theta)$$

Ustawienie jego pochodnej względem $\theta$ równy $0$ otrzymujemy MLE

$$\hat \theta(x) : \frac 1n\sum_{i=1}^nT(x_i) = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat \theta(x)} \tag {7}$$

Porównać $(7)$ z $(6a)$. Prawa strona nie jest równa, ponieważ nie możemy argumentować, że estymator MLE trafił w prawdziwą wartość. Więc nie są też lewe strony. Ale pamiętaj o tym.$2$trzyma dla wszystkich $\theta$ i tak dla $\hat \theta$również. Więc kroki w równaniu.$3,4,5,6$ można wziąć w odniesieniu do $\hat \theta$ i żebyśmy mogli napisać eq. $6a$ dla $\hat \theta$:

$$E_{\hat\theta(x)}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat\theta(x)} \tag{6b}$$

co w połączeniu z $(7)$, prowadzi nas do ważnej relacji

$$E_{\hat\theta(x)}[T(X)] = \frac 1n\sum_{i=1}^nT(x_i)$$

tak naprawdę mówi badane twierdzenie: oczekiwana wartość wystarczającej statystyki w MLE dla nieznanych parametrów (innymi słowy, wartość pierwszego nieprzetworzonego momentu rozkładu, który otrzymamy, jeśli użyjemy$\hat \theta(x)$ zamiast $\theta$), równa się (i nie jest to tylko przybliżone) średniej wystarczającej statystyki obliczonej na podstawie próby$\mathbf x$.

Co więcej, tylko jeśli wielkość próby wynosi $n=1$ wtedy moglibyśmy dokładnie powiedzieć: „oczekiwana wartość wystarczającej statystyki pod MLE równa się wystarczającej statystyce”.