Regresja Poissona z dużymi danymi: czy zmiana jednostki miary jest błędna?

Ze względu na silnię w rozkładzie Poissona oszacowanie modeli Poissona (na przykład przy użyciu maksymalnego prawdopodobieństwa) staje się niepraktyczne, gdy obserwacje są duże. Na przykład, jeśli próbuję oszacować model wyjaśniający liczbę samobójstw w danym roku (dostępne są tylko dane roczne) i powiedzmy, że są tysiące samobójstw każdego roku, czy błędne jest wyrażanie samobójstw w setkach , więc 2998 wyniesie 29,98 ~ = 30? Innymi słowy, czy błędem jest zmiana jednostki miary, aby dane były możliwe do zarządzania?

Kiedy mamy do czynienia z rozkładem Poissona z dużymi wartościami \ lambda (jego parametr), często stosuje się normalne przybliżenie do rozkładu Poissona.

Jak wspomina ta strona , w porządku jest użycie normalnego przybliżenia, gdy \ lambda przekroczy 20, a przybliżenie poprawi się, gdy \ lambda będzie jeszcze wyższa.

Rozkład Poissona jest definiowany tylko w przestrzeni stanu składającej się z nieujemnych liczb całkowitych, więc przeskalowanie i zaokrąglenie wprowadzi dziwne rzeczy do twoich danych.

Używając normalnego ok. dla dużych statystyk Poissona jest BARDZO powszechne.

W przypadku Poissona jest źle, ponieważ liczy się liczba - ich jednostka jest jednością. Z drugiej strony, jeśli użyjesz zaawansowanego oprogramowania, takiego jak R, jego funkcje obsługi Poissona będą świadome tak dużych liczb i użyją pewnych sztuczek numerycznych do ich obsługi.

Oczywiście zgadzam się, że normalne zbliżenie jest kolejnym dobrym podejściem.

Większość pakietów statystycznych ma funkcję do bezpośredniego obliczania logarytmu naturalnego silni (np. Funkcja lfactorial () w R, funkcja lnactorial () w Stata). Umożliwia to włączenie stałego terminu do prawdopodobieństwa dziennika, jeśli chcesz.

Obawiam się, że nie możesz tego zrobić. Jak stwierdza @Baltimark, przy dużej lambdzie rozkład będzie miał bardziej normalny kształt (symetryczny), a po skalowaniu nie będzie już rozproszenia poissona. Wypróbuj następujący kod w R:

poi1 = rpois(100000, lambda = 5)  # poisson
poi2 = rpois(100000, lambda = 100)/20 # scaled-down poisson
poi2_dens = density(poi2)

hist(poi1, breaks = 0:30, freq = F, ylim = range(poi2_dens$y))
lines(poi2_dens, col = "red")

Wynik jest poniżej:

Widać, że przeskalowany w dół Poissona (czerwona linia) jest zupełnie inny niż rozkład Poissona.

Możesz po prostu zignorować „silnia”, gdy używasz największego prawdopodobieństwa. Oto uzasadnienie twojego przykładu samobójstwa. Pozwolić:

λ: Bądź oczekiwaną liczbą samobójstw rocznie

k _i : być liczbą samobójstw w roku i.

Następnie zmaksymalizujesz prawdopodobieństwo dziennika jako:

LL = ∑ (k _i log (λ) - λ - k _i !)

Maksymalizacja powyższego jest równoznaczna z maksymalizacją następujących jako k _i ! jest stałą:

LL ^' = ∑ (k _i log (λ) - λ)

Czy może wyjaśnić, dlaczego silnia jest problemem? Czy coś brakuje?