Jak obliczasz precyzję i przywołujesz klasyfikację wieloklasową za pomocą macierzy pomyłek?

Zastanawiam się, jak obliczyć precyzję i przywołać za pomocą macierzy nieporozumień dla problemu klasyfikacji wielu klas. W szczególności obserwację można przypisać tylko do najbardziej prawdopodobnej klasy / etykiety. Chciałbym obliczyć:

• Precyzja = TP / (TP + FP)
• Recall = TP / (TP + FN)

dla każdej klasy, a następnie obliczyć mikro-uśrednioną miarę F.

W przypadku 2 hipotez macierz dezorientacji jest zwykle:

       | Declare H1  |  Declare H0 |
|Is H1 |    TP       |   FN        |
|Is H0 |    FP       |   TN        |

gdzie użyłem czegoś podobnego do twojej notacji:

• TP = prawdziwie dodatni (zadeklaruj H1, gdy tak naprawdę H1),
• FN = fałszywie ujemny (zadeklaruj H0, gdy tak naprawdę H1),
• FP = fałszywie dodatni
• TN = prawdziwie ujemny

Na podstawie nieprzetworzonych danych, wartości w tabeli będą zazwyczaj liczbami dla każdego wystąpienia w stosunku do danych testowych. Na tej podstawie powinieneś być w stanie obliczyć potrzebne ilości.

Edytować

Uogólnieniem na problemy wielu klas jest sumowanie ponad wierszami / kolumnami macierzy pomieszania. Biorąc pod uwagę, że macierz jest zorientowana jak powyżej, tj. Że dany wiersz macierzy odpowiada określonej wartości „prawdy”, mamy:

$\text{Precision}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ji}}$

$\text{Recall}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ij}}$

$i$$i$$i$$i$

Dobry dokument podsumowujący, patrząc na te wskaźniki problemów wielu klas:

• Sokolova, M., i Lapalme, G. (2009). Systematyczna analiza miar wydajności dla zadań klasyfikacyjnych. Przetwarzanie i zarządzanie informacjami, 45 , s. 1 427–437. ( pdf )

Streszczenie brzmi:

W tym artykule przedstawiono systematyczną analizę dwudziestu czterech miar wydajności wykorzystywanych w pełnym spektrum zadań klasyfikacyjnych uczenia maszynowego, tj. Binarnych, wielu klasowych, wieloznakowych i hierarchicznych. Dla każdego zadania klasyfikacyjnego badanie wiąże zestaw zmian w macierzy pomieszania z konkretnymi cechami danych. Następnie analiza koncentruje się na rodzaju zmian w macierzy pomieszania, które nie zmieniają miary, dlatego zachowaj ocenę klasyfikatora (niezmienność miary). Wynikiem jest taksonomia niezmienności miary w odniesieniu do wszystkich istotnych zmian rozkładu etykiet w problemach z klasyfikacją. Ta formalna analiza jest poparta przykładami zastosowań, w których właściwości niezmienniczości miar prowadzą do bardziej wiarygodnej oceny klasyfikatorów.

Używanie sklearn i numpy:

from sklearn.metrics import confusion_matrix
import numpy as np

labels = ...
predictions = ...

cm = confusion_matrix(labels, predictions)
recall = np.diag(cm) / np.sum(cm, axis = 1)
precision = np.diag(cm) / np.sum(cm, axis = 0)

Aby uzyskać ogólne miary precyzji i wycofania, użyj

np.mean(recall)
np.mean(precision)