ImageNet: co to jest wskaźnik błędów w pierwszej i piątce?

W dokumentach klasyfikacyjnych ImageNet wskaźniki błędu 1 i 5 są ważnymi jednostkami do pomiaru sukcesu niektórych rozwiązań, ale jakie są te poziomy błędów?

W ImageNet Classification with Deep Convolutional Neural Networks autorstwa Krizhevsky i in. każde rozwiązanie oparte na jednym CNN (strona 7) nie ma najwyższych 5 poziomów błędów, podczas gdy te z 5 i 7 CNN mają (a także poziom błędu dla 7 CNN jest lepszy niż dla 5 CNN).

Czy to oznacza, że ​​najwyższy poziom błędu jest najlepszym pojedynczym poziomem błędu dla jednego pojedynczego CNN?

Czy wskaźnik błędów w pierwszej piątce jest po prostu skumulowanym poziomem błędu pięciu CNN?

[...] gdzie wskaźnik błędów w pierwszej piątce to ułamek zdjęć testowych, dla których poprawna etykieta nie znajduje się wśród pięciu etykiet uznanych za najbardziej prawdopodobne przez tryb.

Najpierw dokonujesz prognozy za pomocą CNN i uzyskujesz wielomianowy rozkład przewidywanej klasy ( ).$\sum p_{class} = 1$

Teraz, w przypadku wyniku z pierwszej 1 , sprawdzasz, czy najwyższa klasa (ta o najwyższym prawdopodobieństwie) jest taka sama jak etykieta docelowa.

W przypadku wyniku w pierwszej piątce sprawdzasz, czy etykieta docelowa jest jedną z 5 najlepszych prognoz (5 z najwyższym prawdopodobieństwem).

W obu przypadkach najwyższy wynik oblicza się, ilekroć przewidywana etykieta pasuje do etykiety docelowej, podzielona przez liczbę ocenianych punktów danych.

Wreszcie, gdy stosuje się 5-CNN, najpierw uśrednia się ich przewidywania i postępuje się zgodnie z tą samą procedurą, aby obliczyć wyniki w pierwszej i piątce.

Twój klasyfikator daje prawdopodobieństwo dla każdej klasy. Powiedzmy, że mieliśmy tylko „kota”, „psa”, „dom”, „mysz” jako klasy (w tej kolejności). Następnie klasyfikator daje coś podobnego

0.1; 0.2; 0.0; 0.7

w rezultacie. Pierwszą klasą jest „mysz”. Top 2 klasy to {mysz, pies}. Gdyby poprawną klasą był „pies”, byłby liczony jako „poprawny” dla dokładności Top-2, ale jako nieprawidłowy dla dokładności Top-1.

Stąd, w problemu klasyfikacji, z możliwe klasy, każdy separator posiada 100% top- dokładności. „Normalna” dokładność jest na pierwszym miejscu.$k$$k$