Metryki błędów dla krzyżowej weryfikacji modeli Poissona

Sprawdzam krzyżowo model, który próbuje przewidzieć liczbę. Gdyby to był problem z klasyfikacją binarną, obliczyłbym nieoczekiwane AUC, a jeśli byłby to problem regresji, obliczyłbym nieoczekiwanie RMSE lub MAE.

W przypadku modelu Poissona, jakich mierników błędów mogę użyć do oceny „dokładności” prognoz poza próbą? Czy istnieje rozszerzenie AUC Poissona, które sprawdza, jak dobrze prognozy porządkują wartości rzeczywiste?

Wydaje się, że wiele konkursów Kaggle na zliczanie (np. Liczba użytecznych głosów, które otrzyma recenzja yelp lub liczba dni, które pacjent spędza w szpitalu) wykorzystują średni błąd logarytmiczny lub RMLSE.

/ Edycja: Jedną rzeczą, którą robiłem, jest obliczanie decyli przewidywanych wartości, a następnie patrzenie na rzeczywistą liczbę, podzieloną przez decyl. Jeśli decyl 1 jest niski, decyl 10 jest wysoki, a decyle pomiędzy nimi ściśle się zwiększają, nazwałem model „dobrym”, ale miałem problem z określeniem tego procesu i przekonałem się, że jest lepszy podejście.

/ Edycja 2: Szukam formuły, która przyjmuje przewidywane i rzeczywiste wartości i zwraca pewną miarę „błędu” lub „dokładności”. Moim planem jest obliczenie tej funkcji na niezakłóconych danych podczas krzyżowej weryfikacji, a następnie użycie jej do porównania szerokiej gamy modeli (np. Regresja Poissona, losowy las i GBM ).

Na przykład jedną z takich funkcji jest RMSE = sqrt(mean((predicted-actual)^2)). Inną taką funkcją byłaby AUC . Żadna z funkcji nie wydaje się odpowiednia dla danych Poissona.

Istnieje kilka właściwych i ściśle właściwych reguł punktacji dla danych zliczania, których możesz użyć. Reguły punktacji to kary wprowadzone, przy czym jest rozkładem predykcyjnym, wartością obserwowaną. Mają wiele pożądanych właściwości, przede wszystkim dlatego, że prognoza bliższa rzeczywistemu prawdopodobieństwu zawsze będzie podlegać mniejszej karze, a istnieje (unikalna) najlepsza prognoza, i taka jest, gdy przewidywane prawdopodobieństwo pokrywa się z prawdziwym prawdopodobieństwem. Zatem minimalizacja oczekiwań oznacza zgłoszenie prawdziwych prawdopodobieństw. Zobacz także Wikipedię .P y s ( y , P $s(y,P)$$P$$y$$s(y,P)$

Często przyjmuje się średnią z tych wszystkich przewidywanych wartości jako

$S=\frac{1}{n}\sum_{i=1}^n s(y^{(i)},P^{(i)})$

Która reguła zależy od twojego celu, ale dam ci szorstką charakterystykę, kiedy każda z nich będzie dobra do użycia.

W dalszej części wykorzystuję dla funkcji predykcyjnej masy prawdopodobieństwa oraz funkcji predykcyjnego rozkładu skumulowanego. A działa na całej obsłudze rozkładu zliczania (tj. ). myśli funkcję wskaźnika. i są średnią i odchyleniem standardowym rozkładu predykcyjnego (które są zwykle bezpośrednio oszacowanymi wielkościami w modelach danych zliczeniowych). Pr ( Y = y ) F ( y ) ∑ k 0 , 1 , … , ∞ I μ $f(y)$$\Pr(Y=y)$$F(y)$$\sum_k$$0,1,\dots, \infty$$I$$\mu$$\sigma$

Ściśle właściwe reguły punktacji

• Wynik Briera : (stabilny dla nierównowagi wielkości w predyktorach )$s(y,P)=-2 f(y) + \sum_k f^2(k)$
• Wynik Dawida-Sebastianiego : (dobre dla ogólnego wyboru modelu predykcyjnego; stabilne dla nierównowagi wielkości w predyktorach jakościowych)$s(y,P)=(\frac{y-\mu}{\sigma})^2+2\log\sigma$
• Wynik dewiacji : ( jest terminem normalizacyjnym, który zależy tylko od , w modelach Poissona jest zwykle przyjmowany jako dewiacja nasycona; dobry do użycia z szacunkami z ramy ML)g y$s(y,P)=-2\log f(y) + g_y$$g_y$$y$
• Wynik logarytmiczny : (bardzo łatwo obliczalny; stabilny dla nierównowagi wielkości w predyktorach jakościowych)$s(y,P)=-\log f(y)$
• prawdopodobieństwa : (dobry do kontrastowania różnych prognoz bardzo wysokich liczb; podatny na nierównowagę wielkości w predyktorach jakościowych)$s(y,P)=\sum_k \{F(k)-I(y\leq k)\}^2$
• Wynik sferyczny : (stabilny dla nierównowagi wielkości w predyktorach jakościowych)$s(y,P)=\frac{f(y)}{\sqrt{\sum_k f^2(k)}}$

Inne reguły punktacji (niezbyt właściwe, ale często stosowane)

• Wynik błędu bezwzględnego :(niewłaściwy)$s(y,P)=|y-\mu|$
• Kwadratowy wynik błędu : (nie jest ściśle właściwy; podatny na wartości odstające; podatny na nierównowagę wielkości w predyktorach jakościowych)$s(y,P)=(y-\mu)^2$
• Wynik znormalizowanego błędu kwadratu Pearsona : (nie do końca właściwe; podatne na wartości odstające; można użyć do sprawdzenia, czy model sprawdza, czy wynik uśredniony jest bardzo różny od 1; stabilny dla nierównowagi wielkości w predyktorach jakościowych)$s(y,P)=(\frac{y-\mu}{\sigma})^2$

Przykładowy kod R dla ściśle właściwych reguł:

library(vcdExtra)
m1 <- glm(Freq ~ mental, family=poisson, data=Mental) 

# scores for the first observation
mu <- predict(m1, type="response")[1]
x  <- Mental$Freq[1]

# logarithmic (equivalent to deviance score up to a constant) 
-log(dpois(x, lambda=mu))

# quadratic (brier)
-2*dpois(x,lambda=mu) + sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) })

# spherical
- dpois(x,mu) / sqrt(sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) }))

# ranked probability score
sum(ppois((-1):(x-1), mu)^2) + sum((ppois(x:10000,mu)-1)^2)

# Dawid Sebastiani
(x-mu)^2/mu + log(mu)