Kiedy regresję logistyczną rozwiązuje się w formie zamkniętej?

Weźmy i i załóżmy, że modelujemy zadanie przewidywania y dla x za pomocą regresji logistycznej. Kiedy współczynniki regresji logistycznej można zapisać w formie zamkniętej? $x \in \{0,1\}^d$ $y \in \{0,1\}$

Jednym z przykładów jest użycie modelu nasyconego.

To znaczy zdefiniuj , gdzie indeksuje zestawy w zestawie mocy , a zwraca 1, jeśli wszystkie zmienne w -tym zestawie to 1, a w przeciwnym razie 0. Następnie możesz wyrazić każde w tym modelu regresji logistycznej jako logarytm racjonalnej funkcji statystyki danych. $P(y|x) \propto \exp(\sum_i w_i f_i(x_i))$ $i$ $\{x_1,\ldots,x_d\}$ $f_i$ $i$ $w_i$

Czy istnieją inne ciekawe przykłady, gdy istnieje zamknięty formularz?

logistic generalized-linear-model

— Jarosław Bułatow
źródło

Zakładam, że masz na myśli „kiedy MLE parametrów mają postać zamkniętą?”

— Glen_b

Czy możesz podać więcej szczegółów, co zrobiłeś? Twoje pytanie brzmi, jakbyś próbował uzyskać zwykły estymator najmniejszych kwadratów dla problemu regresji logistycznej?

— Momo

Dzięki za interesujący post / pytanie, Jarosław. Czy masz odniesienie do pokazanego przykładu?

— Bitowy

Minęło trochę czasu, ale być może było to w książce Lauritzena „Modele graficzne”. Istnieją szersze podstawy odpowiedzi na to pytanie - rozwiązanie jest zamknięte, gdy wykres (hiper) utworzony przez wystarczającą statystykę jest akordalny

— Jarosław Bułatow

To może być interesujące tandfonline.com/doi/abs/10.1080/... Uważam, że jest to szczególny przypadek rozwiązania analitycznego, gdy masz tylko stół 2x2

— Austin

Odpowiedzi:

Jak zauważył kjetil b halvorsen, na swój sposób cudem jest regresja liniowa dopuszczająca rozwiązanie analityczne. A dzieje się tak tylko dzięki liniowości problemu (w odniesieniu do parametrów). W OLS masz który ma warunki pierwszego rzędu W przypadku problemu z

\sum_{i} (y_{i} - x_{i}^{'} β)^{2} \to min_{β},

$\sum_i (y_i - x_i' \beta)^2 \to \min_\beta,$

- 2 \sum_{i} (y_{i} - x_{i}^{'} β) x_{i} = 0

$-2 \sum_i (y_i - x_i'\beta) x_i = 0$

p

$p$ Zmienne (w tym na stałym poziomie, w razie potrzeby, istnieje kilka problemów regresji przez pochodzenie, za) jest to system z

równań i

nieznanych. Co najważniejsze, jest to układ liniowy, dzięki czemu można znaleźć rozwiązanie przy użyciu standardowej teorii i praktyki algebry liniowej . Ten system będzie miał rozwiązanie z prawdopodobieństwem 1, chyba że masz idealnie współliniowe zmienne.

p

$p$

p

$p$

Teraz, dzięki regresji logistycznej, rzeczy nie są już takie proste. Zapisując funkcję log-wiarygodności, a przy jego pochodna znaleźć MLE, mamy

l (y; x, β) = \sum_{ja} y_{ja} \ln p_{ja} + (1 - y_{ja}) \ln (1 - p_{ja}), p_{ja} = (1 + \exp (- θ_{ja}))^{- 1}, θ_{ja} = x_{ja}^{'} β,

$l(y;x,\beta) = \sum_i y_i \ln p_i + (1-y_i) \ln(1-p_i), \quad p_i = (1+\exp(-\theta_i))^{-1}, \quad \theta_i = x_i' \beta,$

Parametry

wprowadzają to w bardzo nieliniowy sposób: dla każdego

istnieje funkcja nieliniowa i są one dodawane razem. Nie ma rozwiązania analityczne (z wyjątkiem prawdopodobnie w banalnej sytuacji z dwóch obserwacji, czy coś takiego) i trzeba użyćnieliniowych metod optymalizacji, aby znaleźć szacunki

\frac{\partial l}{\partial β^{'}} = \sum_{i} \frac{d p_{i}}{d θ} (\frac{y_{i}}{p_{i}} - \frac{1 - y_{i}}{1 - p_{i}}) x_{i} = \sum_{i} [y_{i} - \frac{1}{1 + \exp (x_{i}^{'} β)}] x_{i}

$\frac{\partial l}{\partial \beta'} = \sum_i \frac{{\rm d}p_i}{{\rm d}\theta}\Bigl( \frac{y_i}{p_i} - \frac{1-y_i}{1-p_i} \Bigr)x_i = \sum_i \Bigl[y_i-\frac1{1+\exp(x_i'\beta)}\Bigr]x_i$

β

$\beta$

i

$i$

\hat{β}

$\hat\beta$

Nieco głębsze spojrzenie na problem (biorąc pod uwagę drugą pochodną) pokazuje, że jest to wypukły problem optymalizacji znalezienia maksimum funkcji wklęsłej (gloryfikowana parabola wielowymiarowa), więc jedno z nich istnieje i każdy rozsądny algorytm powinien go znaleźć szybko, albo wszystko wyleci w nieskończoność. To ostatnie dzieje się z regresją logistyczną, gdy dla niektórych ${\rm Prob}[Y_i=1|x_i'\beta > c] = 1$ $c$ , tj. masz doskonałą prognozę. Jest to raczej nieprzyjemny artefakt: można by pomyśleć, że gdy masz doskonałą prognozę, model działa doskonale, ale co ciekawe, jest odwrotnie.

— StasK
źródło

pytanie brzmi, dlaczego twoje ostatnie równanie nie jest możliwe do rozwiązania. czy wynika to z odwrotności funkcji logistycznej przy 0 i 1, czy z ogólnej nieliniowości?

— eyaler

(+1) Odnośnie ostatniego akapitu: Z matematycznego punktu widzenia to robi pracę „doskonale” w tym sensie, że MLE przyniesie doskonałe oddzielającą hiperpłaszczyznę. To, czy Twój algorytm numeryczny zachowuje się rozsądnie w takich okolicznościach, stanowi osobną kwestię. W takich sytuacjach często stosuje się wygładzanie Laplace'a.

— kardynał

@eyaler, powiedziałbym, że jest to spowodowane ogólną nieliniowością. Rozumiem, że istnieje ograniczony zestaw okoliczności, w których można to rozwiązać, chociaż nie wiem, jakie są te okoliczności.

— StasK

Nie rozumiem, jaki jest obecny stan matematyczny, który powoduje, że system nie ma rozwiązania w formie zamkniętej? Czy istnieje ogólny warunek, w którym rzeczy ogólnie nie mają zamkniętych rozwiązań?

— Charlie Parker

czy fakt, że regresja logistyczna nie ma zamkniętej formy, jest czymś, co można udowodnić, patrząc na iterację gradientu spadku?

— Charlie Parker

Ten post pierwotnie miał być długim komentarzem, a nie pełną odpowiedzią na pytanie.

Z pytania wynika, że nieco niejasne jest, czy interes leży tylko w przypadku binarnym, a może w bardziej ogólnych przypadkach, w których mogą być ciągłe lub przyjmować inne dyskretne wartości.

Jeden przykład, który nie do końca odpowiada na pytanie, ale jest powiązany i który podoba mi się, dotyczy rankingów preferencji pozycji uzyskanych za pomocą porównań w parach. Model Bradleya-Terry'ego można wyrazić jako regresję logistyczną, w której

l o sol ja t (Par (Y_{ja jot} = 1)) = α_{ja} - α_{jot},

$\mathrm{logit}( \Pr(Y_{ij} = 1) ) = \alpha_i - \alpha_j ,$

α_{i}

$\alpha_i$

i

$i$

Y_{i j} = 1

$Y_{ij} = 1$

i

$i$

j

$j$

Jeśli przeprowadzane jest pełne porównywanie okrężne (tzn. Dla każdego nieuporządkowanego rejestrowana jest preferencja parowa $(i,j)$ $\hat{\alpha}_i$ $S_i = \sum_{j \neq i} Y_{ij}$

Aby to zinterpretować, wyobraź sobie pełny turniej typu round-robin w ulubionym sporcie wyczynowym. Następnie wynik ten mówi, że model Bradleya-Terry'ego uszeregowuje graczy / drużyny według ich procentu wygranych. To, czy jest to wynik zachęcający, czy rozczarowujący, zależy od twojego punktu widzenia.

Uwaga: Ten wynik w kolejności szeregowania nie obowiązuje na ogół, gdy nie jest odtwarzany pełny runda.

— kardynał
źródło

Interesowałem się wersją binarną, ponieważ była najłatwiejsza do analizy. Znalazłem bardzo szeroki wystarczający warunek w pracach Lauritzena - dostajesz zamkniętą formę, jeśli odpowiedni log-liniowy model ulega rozkładowi

— Jarosław Bułatow