Odchylenie estymatorów maksymalnego prawdopodobieństwa dla regresji logistycznej

Chciałbym zrozumieć kilka faktów dotyczących estymatorów maksymalnego prawdopodobieństwa (MLE) dla regresji logistycznych.

Czy to prawda, że ogólnie MLE regresji logistycznej jest stronniczy? Powiedziałbym tak". Wiem na przykład, że wymiar próbki jest związany z asymptotycznym nastawieniem MLE.

Czy znasz jakieś podstawowe przykłady tego zjawiska?
Jeśli MLE jest stronniczy, czy prawdą jest, że macierz kowariancji MLE jest odwrotnością Hessian funkcji największego prawdopodobieństwa?

edycja : Spotykałem tę formułę dość często i bez żadnych dowodów; wydaje mi się to dość arbitralnym wyborem.

— Avitus
źródło

Rozważ prosty binarny model regresji logistycznej z binarną zmienną zależną i tylko stałą i binarnym regresorem $T$ .

Pr (Y_{i} = 1 ∣ T_{i} = 1) = Λ (α + β T_{i})

$\Pr(Y_i=1\mid T_i=1) = \Lambda (\alpha + \beta T_i)$ gdzie jest logistycznym cdf, .

Λ

$\Lambda$

Λ (u) = {[1 + \exp {- u}]}^{- 1}

$\Lambda(u) = \left[1+\exp\{-u\}\right]^{-1}$

W formularzu logowania mamy

\ln (\frac{Pr (Y_{i} = 1 ∣ T_{i} = 1)}{1 - Pr (Y_{i} = 1 ∣ T_{i} = 1)}) = α + β T_{i}

$\ln \left(\frac{\Pr(Y_i=1\mid T_i=1)}{1-\Pr(Y_i=1\mid T_i=1)}\right) = \alpha + \beta T_i$

Masz próbkę o rozmiarze . Oznacz liczbę obserwacji, w których a te, w których , a . Rozważ następujące szacunkowe prawdopodobieństwa warunkowe: $n$ $n_1$ $T_i=1$ $n_0$ $T_i=0$ $n_1+n_0=n$

\hat{Pr} (Y = 1 ∣ T = 1) \equiv {\hat{P}}_{1 | 1} = \frac{1}{n_{1}} \sum_{T_{i} = 1} y_{i}

$\hat \Pr(Y=1\mid T=1)\equiv \hat P_{1|1} = \frac 1{n_1}\sum_{T_i=1}y_i$

\hat{Pr} (Y = 1 ∣ T = 0) \equiv {\hat{P}}_{1 | 0} = \frac{1}{n_{0}} \sum_{T_{i} = 0} y_{i}

$\hat \Pr(Y=1\mid T=0)\equiv \hat P_{1|0} = \frac 1{n_0}\sum_{T_i=0}y_i$

Następnie ten bardzo podstawowy model zapewnia rozwiązania w formie zamkniętej dla estymatora ML:

\hat{α} = \ln (\frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}}), \hat{β} = \ln (\frac{{\hat{P}}_{1 | 1}}{1 - {\hat{P}}_{1 | 1}}) - \ln (\frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}})

$\hat \alpha = \ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right),\qquad \hat \beta = \ln\left(\frac{\hat P_{1|1}}{1-\hat P_{1|1}}\right)-\ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)$

STRONNICZOŚĆ

Chociaż i są obiektywnymi estymatorami odpowiednich prawdopodobieństw, MLE są stronnicze, ponieważ nieliniowa funkcja logarytmiczna przeszkadza - wyobraź sobie, co dzieje się z bardziej skomplikowanymi modelami , z wyższym stopniem nieliniowości. $\hat P_{1|1}$ $\hat P_{1|0}$

Ale asymptotycznie, odchylenie zanika, ponieważ szacunki prawdopodobieństwa są spójne. Wstawiając bezpośrednio operatora do oczekiwanej wartości i logarytmu, mamy $\lim$

lim_{n \to \infty} E [\hat{α}] = E [\ln (lim_{n \to \infty} \frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}})] = E [\ln (\frac{P_{1 | 0}}{1 - P_{1 | 0}})] = α

$\lim_{n\rightarrow \infty}E[\hat \alpha] = E\left[\ln\left(\lim_{n\rightarrow \infty}\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)\right] = E\left[\ln\left(\frac{P_{1|0}}{1-P_{1|0}}\right)\right] =\alpha$

i podobnie dla . $\beta$

Macierz wariancji wariancji MLE
W powyższym prostym przypadku, który zapewnia wyrażenia w formie zamkniętej dla estymatora, można co najmniej w zasadzie kontynuować i wyprowadzić dokładny rozkład próbki skończonej, a następnie obliczyć jej dokładną macierz wariancji wariancji kowariancji skończonej . Ale ogólnie MLE nie ma zamkniętego rozwiązania. Następnie uciekamy się do spójnego oszacowania asymptotycznej macierzy wariancji-kowariancji, która jest (ujemna) odwrotnością Hesji funkcji logarytmu wiarygodności próbki, ocenionej w MLE. I w ogóle nie ma tu „arbitralnego wyboru”, ale wynika to z teorii asymptotycznej i asymptotycznych właściwości MLE (spójność i asymptotyczna normalność), co mówi nam, że dla , $\theta_0 = (\alpha, \beta)$

\sqrt{n} (\hat{θ} - θ_{0}) \to_{d} N (0, - (E [H])^{- 1})

${\sqrt n}(\hat \theta-\theta_0)\rightarrow_d N\left(0, -(E[H])^{-1}\right)$

gdzie to Hesjan. To prowadzi nas w przybliżeniu i dla (dużych) skończonych próbek $H$

Var (\hat{θ}) \approx - \frac{1}{n} (E [H])^{- 1} \approx - \frac{1}{n} {(\frac{1}{n} \hat{H})}^{- 1} = - {\hat{H}}^{- 1}

$\operatorname{Var}(\hat \theta) \approx -\frac 1n(E[H])^{-1}\approx -\frac 1n\left(\frac 1n\hat H\right)^{-1}=-\hat H^{-1}$

— Alecos Papadopoulos
źródło