Uśrednianie precyzji i przywoływanie podczas korzystania z weryfikacji krzyżowej

Przeprowadziłem klasyfikację przy użyciu wielu klasyfikatorów dla danych oznaczonych 2 klasami i użyłem 5-krotnej walidacji krzyżowej. Dla każdej zakładki obliczyłem tp, tn, fp i fn. Następnie obliczyłem dokładność, precyzję, wycofanie i wynik F dla każdego testu. Moje pytanie brzmi: kiedy chcę uśrednić wyniki, wziąłem średnią dokładności, ale czy mogę również uśrednić precyzję, przypomnienie i wynik F? Czy byłoby to matematycznie niepoprawne? PS Zestawy danych używane w każdym folderze są dobrze zrównoważone pod względem liczby wystąpień w klasie.

Dzięki.

classification cross-validation precision-recall

— Kalaji
źródło

Napotkałem ten sam problem dotyczący obliczania miary F (harmonicznej średniej dokładności i przywołania) przy użyciu walidacji krzyżowej. W tym artykule faktycznie wykazali, że obliczanie miary F dla całego zestawu, a nie uśrednianie, jest metodą mniej tendencyjną. Mam nadzieję, że to może pomóc

— papafe

@markusian Dodaj to jako odpowiedź! Jest to zdecydowanie najważniejsza rzecz na tej stronie !!

— drevicko

$F$

F_{1} = 2 \cdot \frac{precision \cdot recall}{precision + recall}

$F_1 = 2\cdot\frac{\textrm{precision} \cdot \textrm{recall}}{\textrm{precision} + \textrm{recall}}$

F_{β}

$F_\beta$

β

$\beta$

F_{β} = (1 + β^{2}) \frac{precision \cdot recall}{(β^{2} \cdot precision) + recall}

$F_\beta = (1+\beta^2) \frac{\textrm{precision} \cdot \textrm{recall}}{(\beta^2 \cdot\textrm{precision}) + \textrm{recall}}$

F

$F$

Należy pamiętać, że istnieją pewne problemy z używaniem tych wartości do wyciągania wniosków na temat błędu generalizacji klasyfikatorów. Na przykład test między wynikami dla jednego klasyfikatora a wynikami dla innego klasyfikatora będzie zbyt optymistyczny. $t$ $F$ $F$

— Matt Krause
źródło

Tak, użyłem pierwszej formuły. Oznacza to, że uśrednienie wyniku F z różnych testów daje wyniki podobne do uśredniania precyzji i przywołania, a następnie obliczenia wyniku F na ich podstawie. Próbowałem tego na moich wynikach i było prawie tak samo. Dzięki.

— Kalaji