W R, biorąc pod uwagę wynik optymalizacji z macierzą hessianową, jak obliczyć przedziały ufności parametrów za pomocą macierzy hessianowej?

Biorąc pod uwagę wynik optymalizacji z macierzą hessianową, jak obliczyć przedziały ufności parametrów za pomocą macierzy hessianowej?

fit<-optim(..., hessian=T)

hessian<-fit$hessian

Najbardziej interesuje mnie kontekst analizy maksymalnego prawdopodobieństwa, ale ciekawy jestem, czy można rozszerzyć tę metodę.

r maximum-likelihood

— Etienne Low-Décarie
źródło

To pytanie jest zbyt niejasne. Jakie przedziały ufności? Jakimi modelami jesteś zainteresowany? Zastanów się, czy nie rzucisz okiem na literaturę, zanim opublikujesz 3 pytania z rzędu.

Metoda powinna być niezależna od przedziału i modelu.

— Etienne Low-Décarie

Jaką funkcję optymalizujesz?

— Stéphane Laurent

Powiedziano mi, że powinienem być w stanie to zrobić niezależnie od używanego modelu.

— Etienne Low-Décarie,

Corey Chivers udzielił odpowiedzi.

— Etienne Low-Décarie,

Jeśli maksymalizujesz prawdopodobieństwo, to macierz kowariancji oszacowań jest (asymptotycznie) odwrotnością ujemnej wartości Hesji. Standardowymi błędami są pierwiastki kwadratowe diagonalnych elementów kowariancji ( z dowolnego miejsca w sieci!, Od prof. Thomasa Lumleya i inż. Spencera Gravesa).

Dla 95% przedziału ufności

fit<-optim(pars,li_func,control=list("fnscale"=-1),hessian=TRUE,...)
fisher_info<-solve(-fit$hessian)
prop_sigma<-sqrt(diag(fisher_info))
prop_sigma<-diag(prop_sigma)
upper<-fit$par+1.96*prop_sigma
lower<-fit$par-1.96*prop_sigma
interval<-data.frame(value=fit$par, upper=upper, lower=lower)

Uwaga:

Jeśli maksymalizujesz log (prawdopodobieństwo), NEGATYWĄ hessian jest „obserwowana informacja” (jak tutaj).
Jeśli ZMINIMALIZUJESZ „odchylenie” = (-2) * log (prawdopodobieństwo), to PÓŁ HESYNA jest obserwowaną informacją.
W mało prawdopodobnym przypadku, gdy maksymalizujesz samo prawdopodobieństwo, musisz podzielić negatywną wartość hessianu przez prawdopodobieństwo uzyskania zaobserwowanych informacji.

Zobacz to, aby zapoznać się z dalszymi ograniczeniami wynikającymi z zastosowanej procedury optymalizacji.

— Etienne Low-Décarie
źródło

Corey Chivers udzielił odpowiedzi.

— Etienne Low-Décarie,

(+1) Odwrotność ujemnego hessianu jest estymatorem asymptotycznej macierzy kowariancji - wiem, że pojawia się to w twoim kodzie, ale myślę, że należy to zaznaczyć.

— Makro

Doskonała odpowiedź, czy należy odczytać górną i dolną granicę upper<-fit$par+1.96*(prop_sigma/sqrt(n)) lower<-fit$par-1.96*(prop_sigma/sqrt(n))? Dzięki

— prezenter

Dlaczego nie usunąć wiersza 4?

— Jason

Czy włączenie linii prop_sigma<-diag(prop_sigma)jest błędem?

— Mark Miller