Aby wygenerować krzywe ROC (= charakterystyczne charakterystyki odbiornika):
Załóżmy, że mamy probabilistyczny, binarny klasyfikator, taki jak regresja logistyczna. Przed przedstawieniem krzywej ROC należy zrozumieć pojęcie macierzy zamieszania . Gdy wykonujemy binarną prognozę, mogą występować 4 rodzaje błędów:
- Przewidujemy 0, podczas gdy powinniśmy mieć klasę w rzeczywistości 0: nazywa się to True Negative , tj. Poprawnie przewidujemy, że klasa jest ujemna (0). Na przykład program antywirusowy nie wykrył nieszkodliwego pliku jako wirusa.
- Przewidujemy 0, podczas gdy powinniśmy mieć klasę faktycznie 1: nazywa się to False Negative , tj. Niepoprawnie przewidujemy, że klasa jest ujemna (0). Na przykład program antywirusowy nie wykrył wirusa.
- Przewidujemy, że 1, podczas gdy powinniśmy mieć klasę, wynosi 0: nazywa się to False Positive , tj. Niepoprawnie przewidujemy, że klasa jest dodatnia (1). Na przykład program antywirusowy uważał nieszkodliwy plik za wirusa.
- Przewidujemy 1, podczas gdy powinniśmy mieć klasę w rzeczywistości 1: nazywa się to Prawdziwie Pozytywnym , tj. Poprawnie przewidujemy, że klasa jest dodatnia (1). Na przykład program antywirusowy prawidłowo wykrył wirusa.
Aby uzyskać macierz nieporozumień, przeglądamy wszystkie przewidywania wykonane przez model i liczymy, ile razy wystąpi każdy z tych 4 typów błędów:
W tym przykładzie macierzy pomieszania, spośród 50 punktów danych, które są sklasyfikowane, 45 jest poprawnie sklasyfikowanych, a 5 błędnie sklasyfikowanych.
Ponieważ w celu porównania dwóch różnych modeli często wygodniej jest mieć jedną metrykę niż kilka, obliczamy dwie metryki z macierzy pomieszania, którą później połączymy w jedną:
- TPTP+FN
- FPFP+TN
0.00;0.01,0.02,…,1.00
Na tym rysunku niebieski obszar odpowiada obszarowi pod krzywą charakterystyki roboczej odbiornika (AUROC). Linia przerywana na przekątnej przedstawiamy krzywą ROC losowego predyktora: ma AUROC 0,5. Losowy predyktor jest powszechnie używany jako punkt odniesienia, aby sprawdzić, czy model jest przydatny.
Jeśli chcesz zdobyć doświadczenie z pierwszej ręki: