Innymi słowy, zamiast mieć problem z dwiema klasami, mam do czynienia z 4 klasami i nadal chciałbym oceniać wydajność za pomocą AUC.
Odpowiedzi:
Wygląda na to, że szukasz wieloklasowej analizy ROC, która jest rodzajem optymalizacji wielozadaniowej opisanej w samouczku na ICML'04. Podobnie jak w kilku problemach wieloklasowych, na ogół chodzi o porównanie parami (jedna klasa w porównaniu do wszystkich innych klas, jedna klasa w porównaniu do innej klasy, patrz (1) lub Elementy uczenia statystycznego ) artykuł Landgrebe i Duina na ten temat, Zbliżanie wieloklasowego ROC za pomocą analizy parami , Pattern Recognition Letters 2007 28: 1747-1758. Teraz, dla celów wizualizacji, jakiś czas temu widziałem kilka dokumentów, z których większość obraca się wokół objętości pod powierzchnią ROC (VUS) lub diagramem pajęczyny .
Nie wiem jednak, czy istnieje implementacja R tych metod, chociaż myślę, że stars()funkcja ta może być użyta do kreślenia pajęczyny. Właśnie natknąłem się na zestaw narzędzi Matlab, który wydaje się oferować wieloklasową analizę ROC, PRSD Studio .
Inne artykuły, które mogą być również przydatne jako pierwszy początek wizualizacji / obliczeń:
Odniesienia:
1. Allwein, EL, Schapire, RE i Singer, Y. (2000). Zmniejszenie wieloklasowej do binarnej: ujednolicające podejście do klasyfikatorów marż. Journal of Machine Learning Research , 1 : 113–141.
Niedawno znalazłem ten pakiet pROC w R, który wykreśla wieloklasowy ROC przy użyciu techniki określonej przez Hand and Till (2001) . Możesz użyć funkcji multiclass.roc.
Odpowiedzi tutaj są dość kompletne, ale nadal chciałbym dodać moje 5 centów. W tym pytaniu możesz znaleźć przykład kodu R do tworzenia krzywych ROC za pomocą metody One-Vs-All i biblioteki ROCR R.
Oto fabuła tej odpowiedzi:
Chociaż matematyka jest poza mną, ten ogólny artykuł poglądowy zawiera odniesienia, które prawdopodobnie Cię zainteresują, oraz krótki opis wykresów ROC dla wielu klas.
Wprowadzenie do analizy ROC autorstwa Toma Fawcetta Pattern Recognition Letters Volume 27, Issue 8, June 2006, Pages 861-874
Link do pliku PDF udostępniony przez gd047 - dzięki