Porównanie wyników dokładności dwóch klasyfikatorów dla istotności statystycznej z testem t

Chcę porównać dokładność dwóch klasyfikatorów dla istotności statystycznej. Oba klasyfikatory działają na tym samym zestawie danych. To prowadzi mnie do przekonania, że ​​powinienem używać testu t jednej próbki z tego, co czytałem .

Na przykład:

Classifier 1: 51% accuracy
Classifier 2: 64% accuracy
Dataset size: 78,000

Czy to właściwy test? Jeśli tak, to jak obliczyć, czy różnica w dokładności między klasyfikatorem jest znacząca?

Czy powinienem używać innego testu?

Prawdopodobnie wybrałbym test McNemara, jeśli tylko raz wyszkolisz klasyfikatorów. David Barber sugeruje również dość schludny test bayesowski, który wydaje mi się dość elegancki, ale nie jest szeroko stosowany (wspomniano go również w jego książce ).

Wystarczy dodać, jak mówi Peter Flom, odpowiedź brzmi prawie na pewno „tak”, po prostu patrząc na różnicę wydajności i wielkość próbki (biorę przytoczone liczby, to raczej wydajność zestawu testowego niż wydajność zestawu treningowego).

Nawiasem mówiąc, Japkowicz i Shah wydali niedawno książkę zatytułowaną „Ocena algorytmów uczenia się: perspektywa klasyfikacji”. Nie przeczytałem jej, ale wygląda na to przydatne odniesienie do tego rodzaju problemów.

Mogę ci powiedzieć, nawet nie uruchamiając niczego, że różnica będzie bardzo istotna statystycznie. Przechodzi IOTT (test urazu międzygałkowego - uderza cię między oczy).

Jeśli jednak chcesz wykonać test, możesz to zrobić jako test dwóch proporcji - można to zrobić za pomocą testu t dwóch próbek.

Możesz jednak chcieć rozbić „dokładność” na jego elementy; czułość i swoistość lub fałszywie dodatni i fałszywie ujemny. W wielu aplikacjach koszt różnych błędów jest zupełnie inny.

Ponieważ dokładność w tym przypadku jest proporcją próbek poprawnie sklasyfikowanych, możemy zastosować test hipotezy dotyczący układu dwóch proporcji.

$\hat p_1$$\hat p_2$$n$$x_1$$x_2$

$\hat p_1 = x_1/n,\quad \hat p_2 = x_2/n$

The test statistic is given by

$\displaystyle Z = \frac{\hat p_1 - \hat p_2}{\sqrt{2\hat p(1 -\hat p)/n}}\qquad$ where $\quad\hat p= (x_1+x_2)/2n$

Our intention is to prove that the global accuracy of classifier 2, i.e., $p_2$, is better than that of classifier 1, which is $p_1$. This frames our hypothesis as

• $H_0: p_1 = p_2\quad$ (null hypothesis stating both are equal)
• $H_a: p_1 < p_2\quad$ (alternative hypotyesis claiming the newer one is better than the existing)

The rejection region is given by

$Z < -z_\alpha \quad$ (if true reject $H_0$ and accept $H_a$)

where $z_\alpha$ is obtained from a standard normal distribition that pertains to a level of significance, $\alpha$. For instance $z_{0.5} = 1.645$ for 5% level of significance. This means that if the relation $Z < -1.645$ is true, then we could say with 95% confidence level ($1-\alpha$) that classifier 2 is more accurate than classifier 1.

References:

1. R. Johnson and J. Freund, Miller and Freund’s Probability and Statistics for Engineers, 8th Ed. Prentice Hall International, 2011. (Primary source)
2. Test of Hypothesis-Concise Formula Summary. (Adopted from [1])