Właściwości regresji logistycznych

Pracujemy z pewnymi regresjami logistycznymi i zdaliśmy sobie sprawę, że średnie oszacowane prawdopodobieństwo zawsze równa jest proporcji jednych w próbie; to znaczy, średnia dopasowanych wartości jest równa średniej próbki.

Czy ktoś może mi wyjaśnić przyczynę lub podać źródło, w którym mogę znaleźć tę demonstrację?

— Gabi Foix
źródło

Powodem tego jest fakt, że regresja logistyczna stara się osiągnąć dokładnie to: modelowanie rozkładu danych, w tym wcześniejszych prawdopodobieństw („średnich”). Czy to zachowanie jest niepożądane?

— bayerj

@ayer Nieliniowość funkcji link wskazuje, że to zjawisko jest głębsze niż twoja charakterystyka. Naprawdę jest tu coś do pokazania.

— whuber

Ta właściwość jest czasami nazywana kalibracją, gdy regresję logistyczną stosuje się do oszacowania ryzyka.

— lipiec

Obserwowane zachowanie jest „typowym” przypadkiem regresji logistycznej, ale nie zawsze jest prawdą. Ma również znacznie większą ogólność (patrz poniżej). Jest to konsekwencja zbiegu trzech odrębnych faktów.

Wybór modelowania logarytmii jako funkcji liniowej predyktorów,
Wykorzystanie maksymalnego prawdopodobieństwa do uzyskania oszacowań współczynników w modelu regresji logistycznej oraz
Włączenie terminu przechwytującego do modelu.

Jeśli którekolwiek z powyższych nie występuje, wówczas średnie oszacowane prawdopodobieństwa nie będą na ogół odpowiadały odsetkowi prawdopodobieństw w próbie.

Jednak (prawie) wszyscy oprogramowanie statystyczne wykorzystuje oszacowanie maksymalnego prawdopodobieństwa dla takich modeli, więc w praktyce pozycje 1 i 2 są zasadniczo zawsze obecne, a pozycja 3 jest zwykle obecna, z wyjątkiem szczególnych przypadków.

Trochę szczegółów

W typowych ramach regresji logistycznej obserwujemy wyniki niezależnych prób dwumianowych z prawdopodobieństwem . Niech być obserwowane reakcje. Następnie całkowite prawdopodobieństwo, $p_i$ $y_i$ A więc Log-Likelihood jest

L. = \prod_{ja = 1}^{n} p_{ja}^{y_{ja}} (1 - p_{ja})^{1 - y_{ja}} = \prod_{ja = 1}^{n} \exp (y_{ja} \log (p_{ja} / (1 - p_{ja})) + \log (1 - p_{ja})),

$\mathcal L = \prod_{i=1}^n p_i^{y_i} (1-p_i)^{1 - y_i} = \prod_{i=1}^n \exp( y_i \log(p_i/(1-p_i)) + \log(1-p_i)) \>,$

ℓ = \sum_{ja = 1}^{n} y_{ja} \log (p_{ja} / (1 - p_{ja})) + \sum_{ja = 1}^{n} \log (1 - p_{ja}) .

$\ell = \sum_{i=1}^n y_i \log(p_i / (1-p_i)) + \sum_{i=1}^n \log(1-p_i) \> .$

Teraz mamy wektor predyktorów dla każdej obserwacji, a z faktu 1 powyżej model regresji logistycznej zakłada, że $\newcommand{\x}{\mathbf x}\x_i$

\log \frac{p_{ja}}{1 - p_{ja}} = β^{T.} x_{ja},

$\log \frac{p_i}{1-p_i} = \beta^T \x_i \>,$

β

$\beta$

p_{i} = 1 / (1 + e^{- β^{T} x_{i}})

$p_i = 1/(1+e^{-\beta^T \x_i})$

$\partial \ell / \partial \beta = 0$

\frac{\partial ℓ}{\partial β} = \sum_{ja} y_{ja} x_{ja} - \sum_{ja} \frac{x_{ja}}{1 + \exp (- β^{T.} x_{ja})} = \sum_{ja} y_{ja} x_{ja} - \sum_{ja} p_{ja} x_{ja},

$\frac{\partial \ell}{\partial \beta} = \sum_i y_i \x_i - \sum_i \frac{\x_i}{1+\exp(-\beta^T \x_i)} = \sum_i y_i \x_i - \sum_i p_i \x_i \>,$

\sum_{ja} y_{ja} x_{ja} = \sum_{ja} {\hat{p}}_{ja} x_{ja},

$\sum_i y_i \x_i = \sum_i \hat{p}_i \x_i \>,$ ponieważ MLE są niezmienne w trakcie transformacji, stąd

{\hat{p}}_{i} = (1 + \exp (- {\hat{β}}^{T} x_{i}))^{- 1}

$\hat{p}_i = (1+\exp(-\hat{\beta}^T \x_i))^{-1}$ w tym przypadku.

Korzystając z faktu 3, jeśli $\x_i$ ma składnik $j$ to zawsze 1 na każdy $i$ , następnie $\sum_i y_i x_{ij} = \sum_i y_i = \sum_i \hat{p}_i$ i dlatego empiryczna proporcja pozytywnych odpowiedzi odpowiada średniej dopasowanych prawdopodobieństw.

Symulacja

Włączenie przechwytywania jest ważne. Oto przykład w $R$ w celu wykazania, że obserwowane zachowanie może nie wystąpić, gdy w modelu nie ma żadnego przechwytywania.

x <- rnorm(100)
p <- 1/(1+exp(-3*x))
y <- runif(100) <= p
mean(y)
# Should be identical to mean(y)
mean( predict( glm(y~x, family="binomial"), type="response" ) )
# Won't be identical (usually) to mean(y)
mean( predict( glm(y~x+0, family="binomial"), type="response") )

Przypadek ogólny : jak wspomniano powyżej, właściwość, że średnia odpowiedź jest równa średniej przewidywanej średniej, ma znacznie większą ogólność dla klasy uogólnionych modeli liniowych pasujących z najwyższym prawdopodobieństwem, przy użyciu funkcji łącza kanonicznego i uwzględnienia przecięcia w Model.

Bibliografia

Niektóre dobre odniesienia do powiązanej teorii są następujące.

A. Agresti (2002), Categorical Data Analysis , wyd. 2, Wiley.
P. McCullagh i JA Nelder (1989), Uogólnione modele liniowe , wyd. 2, Chapman i Hall. (Tekst oryginalnych autorów metod ogólnych).

— kardynał
źródło

+1 Ta demonstracja (specyficzna dla modelu regresji logistycznej, bez próby uogólnienia na wszystkie GLM) jest również podana w Maddala (1983) Ograniczone zmienne zależne i jakościowe w ekonometrii , s. 25–26.

— StasK,

@StasK: Dzięki za dodatkowe informacje, których nie znam. Twoje zdrowie.

— kardynał

@cardinal: Nie pamiętam, aby Agresti dyskutował na ten temat. Czy jest to omówione w McCullagh i Nelder?

— lipiec