Mam do czynienia z problemem wykrywania oszustw (podobnym do punktacji kredytowej). W związku z tym istnieje wysoce niezrównoważony stosunek między fałszywymi i nieuczciwymi obserwacjami.
http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html zapewnia doskonały przegląd różnych wskaźników klasyfikacji. Precision and Recall
lub kappa
oba wydają się być dobrym wyborem:
Jednym ze sposobów uzasadnienia wyników takich klasyfikatorów jest porównanie ich z wynikami klasyfikatorów podstawowych i wykazanie, że są one rzeczywiście lepsze niż przewidywania losowe.
O ile rozumiem, kappa
może być tutaj nieco lepszy wybór, ponieważ brana jest pod uwagę przypadkowa szansa . Z kappa Cohena w prostym języku angielskim rozumiem, że kappa
dotyczy koncepcji zdobywania informacji:
[...] zaobserwowana dokładność na poziomie 80% jest znacznie mniej imponująca z oczekiwaną dokładnością na poziomie 75% w porównaniu z oczekiwaną dokładnością na poziomie 50% [...]
Dlatego moje pytania brzmiałyby:
- Czy słusznie jest założyć,
kappa
że jest to lepsza miara klasyfikacji dla tego problemu? - Czy samo użycie
kappa
zapobiega negatywnym skutkom braku równowagi na algorytmie klasyfikacji? Czy wymagane jest ponowne (zmniejszanie / zwiększanie) pobieranie próbek lub uczenie się oparte na kosztach (patrz http://www.icmc.usp.br/~mcmonard/public/laptec2002.pdf )?