Co oznacza notacja mAP @ [. 5: .95]?

17

W przypadku wykrywania powszechnym sposobem ustalenia, czy propozycja jednego obiektu była poprawna, jest Skrzyżowanie przez Unię (IoU, IU). Pobiera zestaw proponowanych pikseli obiektowych i zestaw rzeczywistych pikseli obiektowych i oblicza: $A$ $B$

ja o U (ZA, b) = \frac{ZA \cap b}{ZA \cup b}

$IoU(A, B) = \frac{A \cap B}{A \cup B}$

Zwykle IoU> 0,5 oznacza, że był to hit, w przeciwnym razie byłby to błąd. Dla każdej klasy można obliczyć

Prawdziwie dodatni ( ): propozycja została przygotowana dla klasy i faktycznie był obiekt klasy $TP(c)$ $c$ $c$
Fałszywie dodatni ( ): zaproponowano klasę , ale nie ma obiektu klasy $FP(c)$ $c$ $c$
Średnia dokładność dla klasy : $c$ $\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

MAP (średnia średnia precyzja) = $\frac{1}{|classes|}\sum_{c \in classes} \frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

Jeśli ktoś chce lepszych propozycji, zwiększa IoU z 0,5 do wyższej wartości (do 1,0, co byłoby idealne). Można to określić za pomocą mAP @ p, gdzie to IoU. $p \in (0, 1)$

Ale co oznacza mAP@[.5:.95](jak stwierdzono w tym artykule )?

computer-vision

— Martin Thoma
źródło

Podejrzewam, że [.5:.95]część odnosi się do zakresu wartości IoU, ale jak ten zakres jest oceniany w pojedynczy mAP, nie wiedziałbym.

— Neil Slater

@NeilSlater Ale dlaczego chcesz mieć górną granicę? Czy wyższe IoU nie zawsze jest lepsze?

— Martin Thoma,

Osiągnięcie dopasowania z wyższymi IoU jest lepsze, ale przypuszczalnie wartość mAP jest zmniejszona, jeśli zmierzymy, jak dobrze model opisuje idealne dopasowania (dla dowolnego modelu), i nie jest to uważane za przydatną miarę. Dlaczego nie jest uwzględniony w zakresie, którego nie znam, ale nie wiem, w jaki sposób oblicza się mAP w tym przypadku - może to być prosty sposób na przykład na podstawie próbek.

— Neil Slater,

1

Jest to repozytorium github z doskonałym wyjaśnieniem IOU , Precision , Recall , Average Precision i mAP . Posiada również kod, który ocenia dowolne detektory obiektów. Z pewnością wam to pomoże : https://github.com/rafaelpadilla/Object-Detection-Metrics

— Rafael Padilla

10

mAP@[.5:.95](ktoś oznaczony mAP@[.5,.95]) oznacza średnie mAP dla różnych progów IoU, od 0,5 do 0,95, krok 0,05 (0,5, 0,55, 0,6, 0,65, 0,7, 0,75, 0,8, 0,85, 0,9, 0,95).

Istnieje powiązana próba MS COCO z nową miarą oceny, która uśrednia mAP dla różnych progów IoU, od 0,5 do 0,95 (zapisanych jako „0,5: 0,95”). [ Ref ]

Oceniamy mAP uśredniony dla IoU ∈ [0,5: 0,05: 0,95] (standardowa metryka COCO, po prostu oznaczona jako mAP @ [. 5, .95]) i mAP@0.5 (metryka PASCAL VOC). [ Ref ]

Aby ocenić nasze ostateczne wykrycia, używamy oficjalnego API COCO [20], który mierzy mAP uśredniony powyżej progów IOU w [0,5: 0,05: 0,95], między innymi metrykami. [ Ref ]

BTW, kod źródłowy z coco pokazuje dokładnie to, co mAP@[.5:.95]robi:

self.iouThrs = np.linspace(.5, 0.95, np.round((0.95 - .5) / .05) + 1, endpoint=True)

Bibliografia

https://github.com/pdollar/coco

http://mscoco.org/

https://www.cs.cornell.edu/~sbell/pdf/cvpr2016-ion-bell.pdf

https://arxiv.org/pdf/1506.01497.pdf

https://arxiv.org/pdf/1611.10012.pdf

— Lodowate
źródło

Masz coś przeciwko pytaniu? Jeśli na przykład mamy 3 wystąpienia pewnej klasy w zbiorze danych, a model zwraca dla nich wartość Iou 0,1, 0,6 i 0,9, czy to oznacza, że odrzucamy wynik 0,1 i średnią Iou 0,75 i odpowiadający mAP?

— Alex,

5

$\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$ jest definicją precyzji, a nie średniej precyzji . W celu wykrywania obiektów AP zdefiniowano tutaj . W skrócie, podsumowuje on krzywą precyzji / przywołania, dlatego uwzględnia się nie tylko precyzję, ale także przywołanie (stąd też Fałszywy Negatyw również zostanie ukarany).

— anhvh
źródło

Dla tych, którzy przeglądają to odniesienie, definicja średniej precyzji (AP) znajduje się na stronie 11.

— Waylon Flinn

3

AP jest uśredniane dla wszystkich kategorii. Tradycyjnie nazywa się to „średnią średnią precyzją” (mAP). Nie rozróżniamy AP i mAP (oraz podobnie AR i mAR) i zakładamy, że różnica wynika z kontekstu.

http://cocodataset.org/#detections-eval

— Mark Yang
źródło

Myślałem, że mAP jest średnią punktów dostępowych w wielu klasach. Lubię znać twoją / papierową definicję autora.

— Cloud Cho