Co to znaczy, że AUC jest częściowo poprawną zasadą punktacji?

Właściwa reguła punktacji jest regułą, która jest maksymalizowana przez „prawdziwy” model i nie pozwala na „zabezpieczanie” lub granie w system (celowe zgłaszanie różnych wyników, jak to jest prawdziwe przekonanie modelu o poprawie wyniku). Wynik Briera jest prawidłowy, dokładność (proporcja sklasyfikowana poprawnie) jest niewłaściwa i często zniechęcana. Czasami widzę, że AUC nazywa się półprawidłową regułą punktacji, co sprawia, że ​​nie jest ona całkowicie nieprawdziwa jako dokładność, ale mniej wrażliwa niż właściwe reguły (na przykład tutaj /stats//a/90705/53084 ).

Co oznacza półprawidłowa reguła punktacji? Czy jest gdzieś zdefiniowane?

Zacznijmy od przykładu. Powiedzmy, że Alice jest trenerem toru i chce wybrać sportowca, który będzie reprezentował drużynę w nadchodzącym wydarzeniu sportowym, sprincie na 200 metrów. Naturalnie chce wybrać najszybszego biegacza.

• Ściśle właściwa zasada punktacji byłoby wyznaczyć najszybszą zawodnik drużyny na dystansie 200m. To maksymalizuje dokładnie to, czego trener Alice chce w tej sytuacji. Wybierany jest sportowiec o najszybszej oczekiwanej wydajności - jest to uczciwy test dyskryminacyjny.
• Właściwa zasada punktacji byłoby odebrać lekkoatleta, który jest w stanie uruchomić 200m najszybciej, ale czas jest zaokrąglana do najbliższej pół sekundy. Najlepszy sportowiec, a także potencjalnie inni sportowcy, będą mogli przejść ten test. Wszyscy sportowcy, którzy zostali wybrani w ten sposób, są dość konkurencyjni, ale najwyraźniej nie jest to doskonały dyskryminujący test prędkości.
• Semi-właściwa zasada punktacji byłoby odebrać lekkoatleta, który jest w stanie uruchomić 200m poniżej progu konkurencyjnym czasie, np 22 sekund. Tak jak poprzednio, najlepszy sportowiec, a także niektórzy inni sportowcy będą mogli przejść ten test. Podobnie wszyscy sportowcy, którzy zostaną wybrani w ten sposób, mogą być dość konkurencyjni, ale najwyraźniej nie tylko nie jest to doskonały test dyskryminacyjny, ale może też pójść okropnie źle (jeśli wybiorimy zbyt łagodny lub zbyt surowy czas). Zauważ, że nie jest to całkowicie złe.
• Niewłaściwe zasada punktacji byłoby wybrać sportowiec z najsilniejszych nóg, np kto może kucać najwięcej wagi. Z pewnością każdy dobry sprinter ma prawdopodobnie bardzo silne nogi, ale ten test oznacza, że ​​niektórzy faceci z zespołu podnoszenia ciężarów będą się tutaj wyróżniać. Najwyraźniej podnoszenie ciężarów w wyścigu na 200 m byłoby katastrofalne!

Chociaż nieco trywializowany, powyższy przykład pokazuje, co dzieje się przy użyciu reguł punktacji. Alice przewidywała przewidywany czas sprintu. W kontekście klasyfikacji prognozujemy prawdopodobieństwa minimalizujące błąd klasyfikatora probabilistycznego.

• Ściśle właściwa zasada punktacji , podobnie jak wynik Brier, gwarantuje, że najlepszy wynik zostanie osiągnięty tylko wtedy, kiedy jesteśmy tak blisko do prawdziwego prawdopodobieństwa, jak to możliwe.
• Właściwa zasada punktacji , jak ciągłego rankingu wynik prawdopodobieństwa (CRPS), nie gwarantuje, że najlepszy wynik zostanie osiągnięty tylko przez klasyfikatora, którego prognozy są najbliżej prawdziwych prawdopodobieństw. Inni kandydaci na klasyfikatorów mogą osiągnąć wyniki CRPS odpowiadające wynikom optymalnego klasyfikatora.
• Semi-właściwa zasada punktacji , jak AUC-ROC, nie tylko nie gwarantuje, że najlepsze wyniki zostaną osiągnięte przez klasyfikatora, którego prognozy są najbliżej prawdziwych prawdopodobieństwa, ale jest także (potencjalnie) można poprawić wartości AUC-ROC poprzez przesunięcie przewidywanych prawdopodobieństw od ich prawdziwych wartości. Niemniej jednak, pod pewnymi warunkami (np. Rozkład klas jest z góry znany w przypadku AUC-ROC), takie zasady mogą przybliżać właściwą regułę punktacji. Byrne (2016) „ Uwaga na temat wykorzystania empirycznego AUC do oceny prognoz probabilistycznych ” podnosi kilka interesujących kwestii dotyczących AUC-ROC.
• Niewłaściwe zasada punktacji , jak dokładność, oferty niewiele do podłączenia do naszej pierwotnej zadanie przewidywanie prawdopodobieństwa jak najbardziej zbliżone do prawdziwych prawdopodobieństw.

Jak widzimy, półprawidłowa zasada punktacji nie jest idealna, ale nie jest wręcz katastrofalna. To może być bardzo przydatne podczas prognozowania! Cagdas Ozgenc ma tutaj świetny przykład , w którym praca z niewłaściwą / półprawidłową regułą jest lepsza niż ściśle ścisła reguła. Zasadniczo termin półprawidłowa zasada punktacji nie jest zbyt powszechna. Jest to związane z niewłaściwymi zasadami, które mogą być jednak pomocne (np. AUC-ROC lub MAE w klasyfikacji probabilistycznej).

Wreszcie zauważ coś ważnego. Ponieważ sprint wiąże się z silnymi nogami, poprawna jest klasyfikacja probabilistyczna z dokładnością. Jest mało prawdopodobne, aby dobry sprinter miał słabe nogi i podobnie jest mało prawdopodobne, aby dobry klasyfikator miał złą dokładność. Niemniej jednak zrównanie dokładności z dobrą wydajnością klasyfikatora jest jak zrównanie siły nogi z dobrą wydajnością sprintu. Nie do końca bezzasadne, ale bardzo prawdopodobne, że doprowadzą do bezsensownych rezultatów.