Stosowanie regresji logistycznej z niskim wskaźnikiem zdarzeń

Mam zestaw danych, w którym częstotliwość zdarzeń jest bardzo niska (40 000 z ). Stosuję w tym regresję logistyczną. Rozmawiałem z kimś, gdzie okazało się, że regresja logistyczna nie dałaby dobrej macierzy pomieszania w przypadku tak niskich danych o częstości zdarzeń. Ale z powodu problemu biznesowego i sposobu, w jaki został zdefiniowany, nie mogę zwiększyć liczby zdarzeń z 40 000 do większej liczby, chociaż zgadzam się, że mogę usunąć część żadnej innej populacji.$12\cdot10^5$

Proszę, opowiedz mi o swoich opiniach, w szczególności:

1. Czy dokładność regresji logistycznej zależy od częstotliwości zdarzeń, czy też jest zalecana minimalna częstotliwość zdarzeń?
2. Czy jest jakaś specjalna technika dla danych o niskiej częstotliwości zdarzeń?
3. Czy usunięcie mojej nieistniejącej populacji byłoby dobre dla dokładności mojego modelu?

Jestem nowy w modelowaniu statystycznym, więc wybacz moją ignorancję i proszę o rozwiązywanie wszelkich powiązanych problemów, o których mógłbym pomyśleć.

Dzięki,

Odpowiem na twoje pytania w porządku:

3 Czy usunięcie mojej nieistniejącej populacji byłoby dobre dla dokładności mojego modelu?

Każda obserwacja dostarczy dodatkowych informacji o parametrze (poprzez funkcję wiarygodności). Dlatego nie ma sensu usuwać danych, ponieważ po prostu tracisz informacje.

1 Czy dokładność regresji logistycznej zależy od częstotliwości zdarzeń, czy też jest zalecana minimalna częstotliwość zdarzeń?

Technicznie tak: rzadka obserwacja jest o wiele bardziej pouczająca (tzn. Funkcja prawdopodobieństwa będzie bardziej stroma). Jeśli Twój wskaźnik zdarzeń wynosił 50:50, to uzyskałbyś znacznie ciaśniejsze przedziały ufności (lub wiarygodne interwały, jeśli jesteś Bayesianem) dla tej samej ilości danych . Jednak nie możesz wybrać częstotliwości zdarzeń (chyba że robisz badanie przypadków), więc będziesz musiał zadowolić się tym, co masz.

2 Czy jest jakaś specjalna technika dla danych o niskiej częstotliwości zdarzeń?

Największym problemem, który może się pojawić, jest idealna separacja : dzieje się tak, gdy jakaś kombinacja zmiennych daje wszystkie nie-zdarzenia (lub wszystkie zdarzenia): w tym przypadku oszacowania parametru maksymalnego prawdopodobieństwa (i ich standardowych błędów) zbliżą się do nieskończoności (chociaż zwykle algorytm zatrzyma się wcześniej). Istnieją dwa możliwe rozwiązania:

a) usuwanie predyktorów z modelu: chociaż spowoduje to, że algorytm się zbiegnie, usuniesz zmienną o największej mocy wyjaśniającej, więc ma to sens tylko wtedy, gdy twój model był przeregulowany na początku (na przykład dopasowanie zbyt wielu skomplikowanych interakcji) .

b) zastosować jakąś karę, taką jak wcześniejszy podział, który zmniejszy szacunki do bardziej rozsądnych wartości.

Jest lepsza alternatywa dla usuwania żadnych zdarzeń dla danych czasowych lub przestrzennych: możesz agregować swoje dane w czasie / przestrzeni i modelować liczby jako Poissona. Na przykład, jeśli Twoim zdarzeniem jest „erupcja wulkanu nastąpi w dniu X”, wówczas nie będzie wiele dni erupcji wulkanu. Jeśli jednak zgrupujesz dni w tygodnie lub miesiące, np. „Liczba erupcji wulkanicznych w miesiącu X”, zmniejszysz liczbę zdarzeń, a więcej zdarzeń będzie miało niezerowe wartości.