ImageNet: co oznacza błąd w pierwszej piątce?

9

Jedną z metod oceny w konkursie ImageNet (klasyfikacja 1000 kategorii obrazów) jest błąd w pierwszej piątce, co to znaczy?

Zobacz: http://www.image-net.org/challenges/LSVRC/

machine-learning classification computer-vision

— RockTheStar
źródło

8

Błąd Top-5, znany również jako błąd Rank-5, jest po prostu wystąpieniem metryki błędu Rank-N z $(N=5)$ .

Błąd rangi $N$ to ułamek próbek testowych $x_i$ którym poprawna etykieta $y_i$ nie pojawia się w górnym $N$ przewidywanych wynikach modelu, gdy wyniki są sortowane w malejącym porządku ufności lub $P(y_i|x_i)$ .

W ILSVRC 2014 metryka błędu klasyfikacji:

e = \frac{1}{n} \cdot \sum_{k} min_{i} d (c_{i}, C_{k})

$e = \tfrac{1}{n} \cdot \sum_k \min_{i} d(c_i, C_k)$

gdzie

d (a, b) = {\begin{cases} 0 & if a = b \\ 1 & otherwise \end{cases}

$d(a, b) = \begin{cases} 0 & \text{if } a = b \\ 1 & \text{otherwise} \end{cases}$

$c_i$ to przewidywana etykieta, a to podstawowa etykieta prawdy. Istnieje możliwych etykiet o . $C_k$ $n$ $k=1, ..., n$

— Sabalaba
źródło

Świetny! Jedno wyjaśnienie, co oznacza litery c i wielkie litery C?

— RockTheStar

Tutaj duże C jest jedną z podstawowych etykiet prawdy, a małe C jest jedną z przewidywanych etykiet.

— sabalaba

1

sabalaba - czy możesz dodać tę informację do swojej odpowiedzi?

— Glen_b

3

najwyższy wskaźnik błędów (modelu) to ułamek zdjęć testowych, dla których poprawna etykieta nie znajduje się wśród pięciu etykiet uznanych za najbardziej prawdopodobne przez model [ 1 ]

— Debvrat Varshney
źródło

1

Myślę, że warunkowa ocena powinna brzmieć: , jeśli występuje w najwyższym N prawdopodobnych klasyfikacjach dla danej podstawowej klasy Bk prawdy. = 1, jeśli nie. $d(A_i, B_k)$ $d(Ai, Bk) = 0$ $A_i$

Tutaj k przyjmuje wartości od 0 do N-1. Gdzie N jest liczbą klas. Dla każdego istnieją prawdopodobne klasyfikacje , w których i przyjmuje wartości [0, N-1] $B_k$ $A_i$

— RM Nair
źródło