Dany
- zestaw danych z instancjami razem z klasami, w których każda instancja należy dokładnie do jednej klasy
- klasyfikator wieloklasowy
Po treningu i testowaniu w zasadzie mam tabelę z prawdziwą klasą i przewidywaną klasą dla każdej instancji w zestawie testowym. Tak więc za każdym razem mam dopasowanie ( ) lub miss ( y_i \ neq a_i ).
Jak mogę ocenić jakość dopasowania? Problem polega na tym, że niektóre klasy mogą mieć wielu członków, tzn. Należy do nich wiele instancji. Oczywiście, jeśli 50% wszystkich punktów danych należy do jednej klasy, a mój ostateczny klasyfikator jest ogólnie w 50% poprawny, nic nie zyskałem. Równie dobrze mógłbym stworzyć trywialny klasyfikator, który generuje największą klasę bez względu na wejście.
Czy istnieje standardowa metoda oceny jakości klasyfikatora na podstawie znanego zestawu wyników testów dopasowań i trafień dla każdej klasy? Może nawet ważne jest rozróżnienie wskaźników dopasowania dla poszczególnych klas?
Najprostsze podejście, jakie mogę wymyślić, to wykluczenie prawidłowych dopasowań największej klasy. Co jeszcze?