Poszukiwanie teoretycznego zrozumienia regresji logistycznej Firtha

Próbuję zrozumieć regresję logistyczną Firtha (metodę obsługi idealnego / pełnego lub quasi-pełnego rozdzielenia w regresji logistycznej), aby móc wyjaśnić to innym w uproszczony sposób. Czy ktoś ma ogólne wyjaśnienie, jakie modyfikacje wprowadza szacunek Firth w MLE?

Przeczytałem, najlepiej jak potrafiłem, Firth (1993) i rozumiem, że do funkcji partytury stosowana jest korekta. Jestem niejasny co do pochodzenia i uzasadnienia korekty oraz roli, jaką odgrywa funkcja score w MLE.

Przepraszamy, jeśli jest to podstawowa wiedza. Literatura, którą przejrzałem, wydaje się wymagać znacznie głębszego zrozumienia MLE niż posiadam.

logistic maximum-likelihood separation

— ESmith5988
źródło

Korekta Firtha jest równoznaczna ze sprecyzowaniem przeżycia Jeffreya i szukaniem sposobu dystrybucji tylnej. Z grubsza dodaje połowę obserwacji do zestawu danych, zakładając, że prawdziwe wartości parametrów regresji są równe zero.

Artykuł Firtha jest przykładem asymptotyków wyższego rzędu. Kolejność null, że tak powiem, jest zapewnione przez Prawo wielkich liczb: w dużych $\hat \theta_n \approx \theta_0$ gdzie $\theta_0$ jest prawdziwa wartość. Być może nauczyłeś się, że MLE są asymptotycznie normalne, z grubsza, ponieważ są oparte na nieliniowych transformacjach sum zmiennych zmiennych (wyników). Ta jest aproksymacja pierwszego rzędu: $\theta_n = \theta_0 + O(n^{-1/2}) = \theta_0 + v_1 n^{-1/2} + o(n^{-1/2})$ $v_1$ $\sigma_1^2$ $n(\hat\theta_n - \theta_0)^2/\sigma_1^2 \sim \chi^2_1$

$o(n^{-1/2})$ $O(n^{-1})$ $1/n$ $\frac12 \ln \det I(\theta)$ $1/n$

— StasK
źródło

Przepraszam za brak zrozumienia, ale nie do końca podążam. Kiedy powiesz „Z grubsza, dodaje połowę obserwacji do zestawu danych, zakładając, że prawdziwe wartości parametrów regresji są równe zero”. Dlaczego miałbyś zakładać, że prawdziwe wartości parametrów regresji są równe zero? Ponadto, w jaki sposób dodaje do zbioru danych połowę obserwacji?

— ESmith5988

Z pozostałej części twojego wyjaśnienia wydaje się, że funkcja prawdopodobieństwa jest korygowana o stałą wielkość, która zmniejsza dodatnie obciążenie małych próbek. Stała ilość jest faktycznie funkcją informacji, która zmienia się na zero wraz ze wzrostem wielkości próbki, prawda?

— ESmith5988

Na twój pierwszy komentarz - Korekta Firtha jest mniej więcej oczekiwaną wartością udziału w prawdopodobieństwie, który zostałby dodany przez obserwację, która miałaby efektywną wagę 1/2. To nie jest poprawne wyjaśnienie, nie mówiąc już o intuicji, dlaczego chcesz to zrobić; po prostu daje ci smak. Ustawiasz współczynniki na zero, ponieważ nie masz lepszego pojęcia, jakie będą liczby (a zerowe współczynniki ładnie odpowiadają żadnemu efektowi regresorów, co jest znaczące przez większość czasu). W drugim komentarzu - poprawne.

— StasK