Jak obliczyć standardowe błędy transformacji MLE?

Muszę wnioskować o dodatnim parametrze . Aby dopasować dodatniość, sparametryzowałem . Korzystając z procedury MLE, obliczyłem oszacowanie punktu i se dla . Właściwość niezmienniczości MLE bezpośrednio daje mi oszacowanie punktowe dla , ale nie jestem pewien, jak obliczyć se dla . Z góry dziękuję za wszelkie sugestie lub odniesienia. $p$ $p=\exp(q)$ $q$ $p$ $p$

maximum-likelihood standard-error delta-method

— Marcel
źródło

Czy nie możesz użyć tej samej procedury MLE, aby bezpośrednio obliczyć oszacowanie punktu i se dla ?

p

$p$

— whuber

Odpowiedzi:

W tym celu stosowana jest metoda Delta . Zgodnie z niektórymi standardowymi założeniami dotyczącymi prawidłowości wiemy, że MLE, for jest w przybliżeniu (tj. Asymptotycznie) rozłożony jako $\hat{\theta}$ $\theta$

\hat{θ} \sim N (θ, I^{- 1} (θ))

$\hat{\theta} \sim N(\theta, \mathcal{I}^{-1}(\theta))$

gdzie jest odwrotnością informacji Fishera dla całej próbki, ocenianej na i oznacza rozkład normalny ze średnią i wariancja . Funkcjonalny niezmienność z MLE mówi, że MLE od , gdzie jest kilka znanych funkcji, to (jak zauważył) i ma przybliżoną dystrybucji $\mathcal{I}^{-1}(\theta)$ $\theta$ $N(\mu,\sigma^{2})$ $\mu$ $\sigma^{2}$ $g(\theta)$ $g$ $g(\hat{\theta})$

g (\hat{θ}) \sim N (g (θ), I^{- 1} (θ) [g^{'} (θ)]^{2})

$g(\hat{\theta}) \sim N( g(\theta), \mathcal{I}^{-1}(\theta) [g'(\theta)]^{2} )$

gdzie można podłączyć spójne estymatory dla nieznanych wielkości (tj. podłączyć gdzie pojawia się w wariancji). Zakładam, że standardowe błędy, które masz, oparte są na informacjach Fishera (ponieważ masz MLE). Oznacz ten błąd standardowy przez . Zatem standardowy błąd , jak w twoim przykładzie, to $\hat{\theta}$ $\theta$ $s$ $e^{\hat{\theta} }$

\sqrt{s^{2} e^{2 \hat{θ}}}

$\sqrt{s^{2}e^{2 \hat{\theta}}}$

Być może interpretuję cię wstecz i w rzeczywistości masz wariancję MLE i chcesz wariancję MLE w którym to przypadku standardem byłaby $\theta$ $\log(\theta)$

\sqrt{s^{2} / {\hat{θ}}^{2}}

$\sqrt{ s^{2}/\hat{\theta}^{2} }$

— Makro
źródło

Tylko na marginesie: istnieją również odpowiednie rozszerzenia wielowymiarowe, w których pochodne są zastępowane gradientami, a mnożenia muszą być mnożeniami macierzowymi, więc nieco więcej bólu głowy przy ustalaniu, gdzie przebiega transpozycja.

— StasK

Dzięki za zwrócenie uwagi na StasK. Wierzę w przypadku wielowymiarowym asymptotyczną kowariancję

g (\hat{θ})

$g(\hat{\theta})$ jest

\nabla g (θ)^{'} I (θ)^{- 1} \nabla g (θ)

$\nabla g(\theta)' \mathcal{I}(\theta)^{-1} \nabla g(\theta)$

— Makro

(+1) Dodałem link do założeń dotyczących prawidłowości (i niektórych innych rzeczy), ponieważ nie jest jasne, czy są one spełnione w problemie PO. Mógłbym tak powiedzieć

\hat{θ}

$\hat{\theta}$ jest asymptotycznie normalny i nie jest w przybliżeniu normalny, ponieważ współczynniki konwergencji mogą być czasami wolne.

— MånsT

Dziękuję @ MånsT, wyjaśniłem też, że miałem na myśli asymptotycznie, kiedy powiedziałem w przybliżeniu :)

— Macro

Makro podało prawidłową odpowiedź na temat przekształcania standardowych błędów metodą delta. Chociaż OP specjalnie poprosił o standardowe błędy, podejrzewam, że celem jest stworzenie przedziałów ufności dla $p$ . Oprócz obliczeń szacowane standardowe błędy $\hat{p}$ możesz bezpośrednio przekształcić przedział ufności, $[q_1, q_2]$ , w $q$ -parametryzacja do przedziału ufności $[\exp(q_1), \exp(q_2)]$ w $p$ -parametryzacja. Jest to całkowicie poprawne, a może nawet być lepszym pomysłem w zależności od tego, jak dobrze działa normalne przybliżenie uzasadniające przedział ufności oparty na standardowych błędach $q$ -parametryzacja kontra $p$ -parametryzacja. Ponadto bezpośrednio przekształcony przedział ufności spełni warunek dodatni.

— NRH
źródło