Czy mogę używać algorytmów glm do wielomianowej regresji logistycznej?

14

Używam Spotfire (S ++) do analizy statystycznej w moim projekcie i muszę uruchomić wielomianową regresję logistyczną dla dużego zestawu danych. Wiem, że najlepszym algorytmem byłby mlogit, ale niestety nie jest on dostępny w s ++. Mam jednak opcję użycia algorytmu glm dla tej regresji. Chcę tu wyjaśnić dwie rzeczy:

1. Czy rozumiem, że glm może być również używany do uruchamiania wielomianowej regresji logistycznej?

Jeśli odpowiedź na poprzednie pytanie brzmi „tak”, to jakie parametry należy zastosować w glm algo?

Dzięki,

generalized-linear-model logistic

— Raghvendra
źródło

9

Tak, dzięki Poisson GLM (logarytmiczny model liniowy) możesz dopasować modele wielomianowe. Stąd wielomianowe logistyczne lub logiczne liniowe modele Poissona są równoważne.

Musisz zobaczyć liczby losowe jako losowe zmienne Poissona ze średnimi i określić następujący model logarytmiczno-liniowy $y_{ij}$ $μ_{ij}$

$\log(μ_{ij}) = o + p_i + c_j + x_iβ_j$

Aby uzyskać wielomianowy model dziennika, parametry są następujące:

Parametr dla każdej obserwacji wielomianowej, na przykład osób lub grupy. Zapewnia to dokładne odtworzenie mianowników wielomianowych i faktycznie ustanawia równoważność modelu Poissona i modelu wielomianowego. Są ustalone na prawdopodobieństwie wielomianowym, ale losowe na prawdopodobieństwie Poissona. $p_i$

Parametr dla każdej kategorii odpowiedzi. W ten sposób liczby mogą być różne dla każdej kategorii odpowiedzi, a marginesy mogą być nierównomierne. $c_j$

To, co naprawdę Cię interesuje, to terminy interakcji które reprezentują wpływ na logarytmiczne szanse na odpowiedź . $x_iβ_j$ $x_i$ $j$

Log-odds można po prostu obliczyć za pomocą . Jest to logarytmiczne prawdopodobieństwo, że obserwacja i spadnie do kategorii odpowiedzi j względem kategorii odpowiedzi . $\log(μ_{ij}/μ_{ik}) = (c_j-c_k) +x_i(β_j-β_k)$ $k$

Następnie parametry w wielomianowym modelu logit (oznaczonym literami łacińskimi) można uzyskać jako różnice między parametrami w odpowiednim logarytmicznym modelu liniowym, tj. i . $a_j = α_j-α_k$ $b_j = β_j-β_k$

— Momo
źródło

Dzięki Momo. To jest naprawdę pomocne. Moje oprogramowanie daje mi opcję wyboru rodziny jako „opcji” i połączenia jako „dziennika” podczas działania alogorytmu GLM. Myślę więc, że dokładnie to jest tutaj wymagane.

— Raghvendra

7

Tak, możesz i tak właśnie robi pakiet R GLMNET dla wielomianowej regresji logistycznej. Zapisywanie funkcji wiarygodności dziennika jako:

L o g L = \sum_{i} \sum_{c} n_{i c} \log (p_{i c})

$LogL=\sum_i\sum_cn_{ic}\log(p_{ic})$

Gdzie oznacza obserwacje, a oznacza kategorie wielomianowe to obserwowana liczba obserwacji w kategorii . Obserwacje są zdefiniowane przez ich unikalne kombinacje zmiennych towarzyszących - lub alternatywnie możemy zezwolić na duplikaty i ustawić każde , abyśmy mieli kategoryczne dane „binarne” (.... nie wiem, co to jest liczba mnoga binarna). ...) Dla regresji logistycznej prawdopodobieństwa są zdefiniowane jako: $i$ $c$ $n_{ic}$ $i$ $c$ $n_{ic}=1$

p_{i c} = \frac{\exp (x_{i}^{T} β_{c})}{\sum_{c^{'}} \exp (x_{i}^{T} β_{c^{'}})}

$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\sum_{c'}\exp\left(x_{i}^T\beta_{c'}\right)}$

Jest to parametryzacja niepełna rangi i może być użyteczna, jeśli używasz prawdopodobieństwa karanego (takiego jak GLMNET). Zasadniczo moglibyśmy użyć IRLS / newton rhapson na pełnej macierzy beta , jednak otrzymacie macierze nie przekątnej. Alternatywnie możemy zoptymalizować „styl Gibbsa”, ustawiając wszystkie kategorie bet z wyjątkiem jednej, a następnie optymalizując nieco powyżej tej kategorii. Następnie przejdź do następnej kategorii i tak dalej. Widać to, ponieważ prawdopodobieństwa mają formę $(\beta_1,\dots,\beta_{C})$

p_{i c} = \frac{\exp (x_{i}^{T} β_{c})}{\exp (x_{i}^{T} β_{c}) + A} where \frac{\partial A}{\partial β_{c}} = 0

$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial A}{\partial \beta_c}=0$

p_{i c^{'}} = \frac{B}{\exp (x_{i}^{T} β_{c}) + A} where \frac{\partial B}{\partial β_{c}} = 0

$p_{ic'}=\frac{B}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial B}{\partial \beta_c}=0$

Że kwadratowe rozwinięcie o będzie miało taką samą formę jak dla regresji logistycznej, ale z wagami IRLS obliczonymi inaczej - chociaż nadal mamy w zwykłej aktualizacji wersji beta. $\beta_c$ $W_{ii,c}=n_{ic}p_{ic}(1-p_{ic})$ $(X^TWX)^{-1}X^TWY$

— prawdopodobieństwo prawdopodobieństwa
źródło

Próbuję wdrożyć wielomianową regresję logistyczną przy użyciu wariantu IRLS QR Newton. Kod działa dla innych modeli GLM, ale nie był w stanie uruchomić mlogit. Czy byłby jakobianem funkcji softmax, która pozwoliłaby mi obliczyć Cholesky'ego tylko raz na iterację, a nie razy rozwiązać dla każdego zestawu wag na wynik?

W

$W$

k

$k$

— José Bayoán Santiago Calderón

Biorąc pod uwagę, że nie byłby on przekątny, nie byłby dobrze skalowany przy dużej liczbie obserwacji, prawda? Czy przechodząc na „styl Gibbsa”, czy odejmowanie parametrów kategorii podstawowej od macierzy byłoby wykonywane przed czy po prognozie?

β

$\beta$

— José Bayoán Santiago Calderón

Kiedy mówimy o „Cholesky raz” vs „Cholesky razy K” należy pamiętać, że matryce mają inny wymiar - jeśli istnieją kolumny to „raz” jest o wielkości matrycy i „czasów K” jest dla matryca

p

$p$

X

$X$

p k

$pk$

p

$p$

— prawdopodobieństwo jest