Diagnostyka regresji logistycznej?

W przypadku regresji liniowej możemy sprawdzić wykresy diagnostyczne (wykresy resztek, normalne wykresy QQ itp.), Aby sprawdzić, czy naruszone są założenia regresji liniowej.

W przypadku regresji logistycznej mam problem ze znalezieniem zasobów wyjaśniających, jak zdiagnozować dopasowanie modelu regresji logistycznej. Po wykopaniu niektórych notatek o kursie dla GLM stwierdza się po prostu, że sprawdzenie reszt nie jest pomocne w przeprowadzeniu diagnozy dopasowania regresji logistycznej.

Rozglądając się po Internecie, wydaje się, że istnieją różne procedury „diagnozy”, takie jak sprawdzanie odchylenia modelu i przeprowadzanie testów chi-kwadrat, ale inne źródła podają, że jest to niewłaściwe i że powinieneś wykonać dobroć dopasowania Hosmer-Lemeshow test. Następnie znajduję inne źródła, które twierdzą, że ten test może być wysoce zależny od rzeczywistych grupowań i wartości odcięcia (może nie być wiarygodny).

Jak więc zdiagnozować dopasowanie regresji logistycznej?

regression logistic

— Ialm
źródło

Możliwy duplikat (lub szczególny przypadek) stats.stackexchange.com/questions/29271/… lub stats.stackexchange.com/questions/44643/… , chociaż żadna z nich nie ma odpowiedzi, które naprawdę by go rozwiązały.

— Peter Ellis,

Polecam przeczytanie monografii Scotta Menarda, która jeszcze niedawno była dostępna w całości za darmo w Internecie.

— rolando2

To pytanie o miary dobroci dopasowania dla regresji logistycznej może być pomocne (choć dobroć dopasowania jest oczywiście tylko niewielką częścią diagnostyki modelu): stats.stackexchange.com/questions/3559/logistic-regression-which-pseudo-r- squared-Measure-is-the-one-to-one-report-cox / 3570

— Stephan Kolassa

Odpowiedzi:

Kilka nowszych technik, które spotkałem w celu oceny dopasowania modeli regresji logistycznej, pochodzi z czasopism nauk politycznych:

Greenhill, Brian, Michael D. Ward i Audrey Sacks. 2011. Wykres separacji: Nowa wizualna metoda oceny dopasowania modeli binarnych. American Journal of Political Science 55 (4): 991–1002 .
Esarey, Justin i Andrew Pierce. 2012. Ocena jakości dopasowania i testowanie pod kątem błędów w binarnych modelach zmiennych. Analiza polityczna 20 (4): 480–500 . Przedruk PDF tutaj

Obie te techniki mają na celu zastąpienie testów dobroci dopasowania (takich jak Hosmer i Lemeshow) i zidentyfikowanie potencjalnej błędnej specyfikacji (w szczególności nieliniowości zmiennych zawartych w równaniu). Są one szczególnie przydatne, ponieważ często krytykuje się typowe miary dopasowania R-kwadrat .

Oba powyższe artykuły wykorzystują przewidywane prawdopodobieństwa w porównaniu do obserwowanych wyników na wykresach - nieco unikając niejasnego problemu, co jest resztą w takich modelach. Przykładami reszt mogą być udziały w prawdopodobieństwie logarytmicznym lub resztki Pearsona (uważam, że jest ich o wiele więcej). Inną miarą, która często jest interesująca (choć nie resztkowa), są wartości DFBeta (kwota, którą szacunek współczynnika zmienia się, gdy obserwacja jest wykluczona z modelu). Zobacz przykłady w Stata dla tej strony UCLA na temat diagnostyki regresji logistycznej wraz z innymi potencjalnymi procedurami diagnostycznymi.

Nie mam tego pod ręką, ale wierzę, że modele regresji J. Scotta Longa dla zmiennych kategorialnych i ograniczonych zależnych zawierają wystarczająco szczegółowe informacje na temat wszystkich tych różnych środków diagnostycznych w prosty sposób.

— Andy W.
źródło

Istnieje mnóstwo innych książek na temat (przynajmniej części, jeśli nie całości) regresji logistycznej. Różne podręczniki do analizy danych kategorycznych Agresti, Scott Menard, Hosmer i Lemeshow oraz książka RMS Franka Harrella, to te, które widziałem polecane na tym forum przez różnych autorów.

— Andy W

Dziękuję za Twoją odpowiedź. Chyba nie ma prostej odpowiedzi na moje pytanie. Przyjrzę się twoim zaleceniom. Twoje zdrowie.

— ialm

Pytanie nie było wystarczająco dobrze umotywowane. Musi istnieć powód, aby uruchomić diagnostykę modelu, np

Możliwość zmiany modelu, aby go ulepszyć
Nie wiedząc, które testy bezpośrednie zastosować (tj. Testy nieliniowości lub interakcji)
Niezrozumienie, że zmiana modelu może łatwo zniekształcić wnioskowanie statystyczne (błędy standardowe, przedziały ufności, wartości ) $P$

Z wyjątkiem sprawdzania rzeczy, które są ortogonalne względem specyfikacji regresji algebraicznej (np. Badanie rozkładu reszt w zwykłych modelach liniowych), diagnostyka modelu może powodować tyle problemów, ile rozwiązują według mnie. Dotyczy to szczególnie binarnego modelu logistycznego, ponieważ nie ma on założeń dystrybucyjnych.

Dlatego zwykle lepiej jest poświęcić czas na określenie modelu, zwłaszcza nie zakładając liniowości dla zmiennych uważanych za silne, dla których żadne wcześniejsze dowody nie sugerują liniowości. W niektórych przypadkach możesz wstępnie określić model, który musi pasować, np. Jeśli liczba predyktorów jest niewielka lub pozwalasz, aby wszystkie predyktory były nieliniowe i (poprawnie) zakładać brak interakcji.

Każdy, kto uważa, że do zmiany modelu można użyć diagnostyki modelu, powinien uruchomić ten proces w pętli ładowania początkowego, aby poprawnie oszacować wywołane niepewności modelu.

— Frank Harrell
źródło

Zgadzam się, że diagnostyka modelu powinna wynikać z celu modelowania. Jednak z pierwszego akapitu mam wrażenie, że uważasz, że nie powinniśmy sprawdzać modeli, które pasujemy do danych. Jestem prawie pewien, że nie o to ci chodziło. Dodatkowo binarny modelu logistycznego z pewnością nie mają dystrybucyjne założenia! (najbardziej oczywiste jest to, że dla odpowiedzi istnieją tylko dwie wartości)

— prawdopodobieństwo jest

Poza założeniem, że istnieją tylko 2 konkretne możliwe wartości Y, binarny model logistyczny nie ma dyst. założenia Osobiście nie używam często wykresów diagnostycznych z regresją logistyczną, zamiast tego wybieram modele wystarczająco elastyczne, aby pasowały do danych w jakikolwiek sposób, dzięki czemu wielkość próby daje nam luksus do zbadania. W OLS głównym wykresem diagnostycznym, którego używam, jest wykres qq dla normalności reszt.

— Frank Harrell,

Z uogólnionej perspektywy modelu liniowego model logistyczny powstaje z rozkładu dwumianowego (rozkład Bernoulliego). Ale nawet wtedy interpretacja resztek jest trudna.

— New_to_this

Mówienie o rozkładach, w których zmienna losowa może przyjmować tylko dwie wartości (tj. Rozkład Bernoulliego), nie jest pomocne, ponieważ nie ma sposobu, aby założenie dystrybucyjne mogło się nie powieść, chyba że obserwacje nie są niezależne.

— Frank Harrell,

@FrankHarrell Zdaję sobie sprawę, że wiesz, o czym tu mówisz, ale nie sądzę, aby dla całej społeczności z twojego postu / komentarzy było błędne określenie predyktora liniowego (lub nawet predykatora addytywnego w Framework GAM) może powodować problemy z regresją logistyczną. Jak można powiedzieć, wielu może nie docenić faktu, że powoduje to brak niezależności danych. Kiedy uczniowie po raz pierwszy napotykają regresję liniową, uczą się sprawdzać reszty bez rozróżnienia między błędną specyfikacją predyktora liniowego a błędną specyfikacją rozkładu błędów.

— Jacob Socolar

Wątek ten jest dość stary, ale pomyślałem, że warto dodać, że od niedawna można używać pakietu DHARMa R do przekształcania resztek dowolnego GL (M) M w znormalizowaną przestrzeń. Po wykonaniu tej czynności można wizualnie ocenić / przetestować pozostałe problemy, takie jak odchylenia od rozkładu, resztkowa zależność od predyktora, heteroskedastyczność lub autokorelacja w normalny sposób. Przejrzyj winietę opakowania, aby zapoznać się z przykładami, a także innymi pytaniami na CV tutaj i tutaj .

— Florian Hartig
źródło