Ponieważ mam bardzo niezrównoważony zestaw danych (9% pozytywnych wyników), zdecydowałem, że krzywa przywołania dokładności jest bardziej odpowiednia niż krzywa ROC. Otrzymałem analogiczną miarę sumaryczną pola powierzchni pod krzywą PR (0,49, jeśli jesteś zainteresowany), ale nie jestem pewien, jak ją interpretować. Słyszałem, że 0,8 lub więcej to dobry AUC dla ROC, ale czy ogólne wartości odcięcia byłyby takie same dla AUC dla krzywej dokładności?
Odpowiedzi:
Nie ma magicznej granicy dla AUC-ROC ani AUC-PR. Wyższy jest oczywiście lepszy, ale jest całkowicie zależny od aplikacji.
Na przykład, jeśli uda ci się zidentyfikować opłacalne inwestycje z AUC wynoszącym 0,8 lub, jeśli to możliwe, czymkolwiek, co odróżnia się od przypadku, byłbym pod wielkim wrażeniem, a ty byłbyś bardzo bogaty. Z drugiej strony, klasyfikowanie odręcznych cyfr o AUC 0,95 jest nadal znacznie poniżej obecnego stanu techniki.
Ponadto, chociaż gwarantuje się, że najlepszy możliwy AUC-ROC ma wartość [0,1], nie jest to prawdą w przypadku krzywych przywoływania dokładności, ponieważ mogą istnieć „nieosiągalne” obszary przestrzeni PR, w zależności od pochylenia rozkładów klas. (Szczegółowe informacje znajdują się w tym opracowaniu Boyda i in. (2012) ).
.49 nie jest świetny, ale jego interpretacja jest inna niż ROC AUC. W przypadku ROC AUC, jeśli uzyskałeś 0,49 za pomocą modelu regresji logistycznej, powiedziałbym, że nie masz nic lepszego niż przypadek. Jednak dla 0,49 PR AUC może nie być tak źle. Zastanowiłbym się nad indywidualną precyzją i przypomnieniem, być może jedno lub drugie jest tym, co obniża twoje AUC PR. Przypomnienie powie ci, ile z tych 9% pozytywnych klas właściwie zgadujesz. Precyzja powie Ci, ile osób uznało, że nie były pozytywne. (Fałszywe pozytywy). Przywołanie 50% byłoby złe, co oznacza, że nie zgadujesz wielu z niezrównoważonej klasy, ale być może 50% precyzji nie byłoby złe. Zależy od twojej sytuacji.
Przypadkowy estymator miałby w twoim przypadku PR-AUC 0,09 (9% pozytywnych wyników), więc Twój 0,49 jest zdecydowanie znaczącym wzrostem.
Jeśli jest to dobry wynik, można go ocenić jedynie w porównaniu z innymi algorytmami, ale nie podałeś szczegółowych informacji na temat zastosowanej metody / danych.
Dodatkowo możesz ocenić kształt swojej krzywej PR. Idealna krzywa PR biegnie od lewego górnego rogu poziomo do prawego górnego rogu i prosto w dół do prawego dolnego rogu, co daje PR-AUC równy 1. W niektórych zastosowaniach krzywa PR pokazuje zamiast tego silny skok na początku, aby szybko upuść ponownie w pobliżu „losowej linii estymatora” (pozioma linia z precyzją 0,09 w twoim przypadku). Oznaczałoby to dobre wykrycie „silnych” pozytywnych wyników, ale słabą skuteczność w przypadku mniej wyraźnych kandydatów.
Jeśli chcesz znaleźć dobry próg dla parametru odcięcia algorytmu, możesz rozważyć punkt na krzywej PR, który znajduje się najbliżej prawego górnego rogu. Lub jeszcze lepiej, jeśli to możliwe, rozważ krzyżową weryfikację. Możesz osiągnąć dokładność i przywołać wartości dla określonego parametru odcięcia, które są bardziej interesujące dla twojej aplikacji niż wartość PR-AUC. Wartości AUC są najbardziej interesujące przy porównywaniu różnych algorytmów.