Porównać klasyfikatory oparte na AUROC lub dokładności?

11

Mam problem z klasyfikacją binarną i eksperymentuję z różnymi klasyfikatorami: chcę porównać klasyfikatory. który jest lepszym miernikiem AUC lub dokładnością? I dlaczego?

Raondom Forest: AUC: 0.828  Accuracy: 79.6667 %
           SVM: AUC: 0.542  Accuracy: 85.6667 %

machine-learning classification auc

— Sina
źródło

13

Proporcja prawidłowo sklasyfikowana jest niewłaściwą zasadą punktacji, tzn. Jest optymalizowana przez fałszywy model. Użyłbym kwadratowej właściwej reguły punktacji znanej jako wynik Briera lub prawdopodobieństwa zgodności (pole pod krzywą ROC w binarnym przypadku ). W twoim przypadku losowy las działa lepiej niż SVM. $Y$

— Frank Harrell
źródło

Jeśli z zastrzeżeniem

na próbkę

jest obserwowany wynik binarnych i

jest przewidywane prawdopodobieństwo „1”, to wynik jest Brier (jeśli zapamiętania)

i

$i$

o_{i} \in {0, 1}

$o_i \in \{0,1\}$

{\hat{f}}_{i}

$\hat{f}_i$

. Jak OP ma problemu klasyfikacji binarnej

są znane, ale jak można obliczyć

dla SVM?

B = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{f}}_{i} - o_{i})^{2}

$B=\frac{1}{n} \sum_{i=1}^n (\hat{f}_i - o_i)^2$

o_{i}

$o_i$

{\hat{f}}_{i}

$\hat{f}_i$

@fcop Istnieje sposób na przekształcenie prognozy klasyfikacji binarnej SVM w prawdopodobieństwo, zwane skalowaniem Platta ( en.wikipedia.org/wiki/Platt_scaling ). Zasadniczo, zamiast obliczania klasyfikacji SVM

(

i

), a

, gdzie

{\hat{y}}_{i}

$\hat y_i$

= + 1

$= +1$

- 1

$-1$

{\hat{y}}_{i} = s i g n (g (y_{i}, x_{i}))

$\hat y_i = sign(g(y_i,x_i))$

g (y_{i}, x_{i})

$g(y_i,x_i)$ Jest to rozwiązanie SVM wypukły problemu programowania kwadratowego Platt Skalowanie wykonuje logistycznej transformację

:

g (y_{i}, x_{i})

$g(y_i,x_i)$

gdzie

i

są parametrami określonymi przez algorytm skalowania Platta.

{\hat{f}}_{i} = P (Y = 1 | x_{i}) = \frac{1}{1 + e x p (A \times g (y_{i}, x_{i}) + B)}

$\hat f_i = P(Y=1|x_i)=\frac{1}{1+exp(A \times g(y_i,x_i) + B)}$

A

$A$

B

$B$

— RobertF

8

Myślę, że zdecydowanie powinieneś przyjrzeć się więcej metryk niż tylko AUC i dokładności.

Dokładność (wraz z czułością i swoistością) jest bardzo prostą, ale tendencyjną miarą, która zmusza cię do spojrzenia na wynik absolutnego przewidywania i nie otwiera się na potwierdzenie prawdopodobieństwa klasy lub rankingu. Nie bierze również pod uwagę populacji, która zachęca do błędnej interpretacji, ponieważ model dający 95% dokładność populacji z 95% szansą na poprawność losową nie jest tak naprawdę dobrym modelem, nawet jeśli dokładność jest wysoka.

AUC jest dobrą miarą dla zapewnienia dokładności modelu, która jest niezależna od prawdopodobieństw klasy populacji. Nie powie ci jednak nic o tym, jak dobre są faktycznie szacunki prawdopodobieństwa. Możesz uzyskać wysoki AUC, ale nadal masz bardzo zniekształcone szacunki prawdopodobieństwa. Ta miara jest bardziej dyskryminująca niż dokładność i na pewno da ci lepsze modele, gdy zostanie użyta w połączeniu z pewną właściwą zasadą punktacji, np. Ocena Briera, jak wspomniano w innym poście.

Możesz uzyskać bardziej formalny dowód tutaj, chociaż ten dokument jest dość teoretyczny: AUC: statystycznie spójna i bardziej dyskryminująca miara niż dokładność

Dostępnych jest jednak kilka dobrych wskaźników. Funkcje strat dla szacowania prawdopodobieństwa i klasyfikacji binarnej klasy: Struktura i zastosowania to dobry dokument sprawdzający właściwe reguły punktacji, takie jak wynik Briera.

Kolejnym interesującym dokumentem z miernikami potwierdzającymi skuteczność modelu jest Ocena: od precyzji, przywołania i miary F do ROC, poinformowanie, znaczność i korelacja uwzględniające inne dobre wskaźniki wydajności, takie jak poinformowanie.

Podsumowując, zaleciłbym przyjrzenie się wartości AUC / Gini i Briera w celu potwierdzenia wydajności modelu, ale w zależności od celu z twoim modelem inne wskaźniki mogą lepiej pasować do twojego problemu.

— podczas
źródło

Link do oceny: od precyzji, wycofania i pomiaru F do ROC, brak informacji, oceny i korelacji

— vonjd

Jeśli z zastrzeżeniem , że na próbkę o I ∈ { 0 , 1 } jest obserwowany wynik binarnych i f I jest przewidywane prawdopodobieństwo „1”, to wynik jest Brier (jeśli zapamiętania) B =

i

$i$

o_{i} \in {0, 1}

$o_i \in \{0,1\}$

{\hat{f}}_{i}

$\hat{f}_i$

B = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{f}}_{i} - o_{i})^{2}

$B=\frac{1}{n} \sum_{i=1}^n (\hat{f}_i - o_i)^2$

o_{i}

$o_i$

{\hat{f}}_{i}

$\hat{f}_i$

Żaden wynik brierscore nie jest świetny dla metod, które dają tylko wynik, a nie prawdopodobieństwo. Niether ma jednak dobre zdanie, ponieważ pokaże ci, jak dobrze oceniasz swoje prognozy. Tylko z wynikami uzyskasz tylko punkt w przestrzeni ROC, dlatego obszar pod krzywą będzie trójkątem. Ale nadal da ci liczbę, a więc i brierscore, choć mniej więcej przekształci się w stratę 0-1. Jeśli masz tylko wyniki, sugeruję przyjrzenie się Kappie Precyzji, Przypomnienia i Cohena, które są miernikami zaprojektowanymi, gdy masz wyniki.

— podczas