Jakie są miary dokładności danych z wielu etykiet?

Zastanów się nad scenariuszem, w którym otrzymujesz matrycę znanych etykiet i predykowaną etykietę. Chciałbym zmierzyć dobroć macierzy PredictedLabel w porównaniu do matrycy FamousLabel.

Wyzwanie polega jednak na tym, że Matryca Znanych Etykiet ma kilka wierszy tylko jeden 1, a kilka innych wierszy ma wiele 1 (te wystąpienia są oznaczone wieloma etykietami). Przykład znanej matrycy etykiet znajduje się poniżej.

A =[1 0 0 0
    0 1 0 0
    0 1 1 0
    0 0 1 1
    0 1 1 1]

W powyższej macierzy instancja danych 1 i 2 to dane o pojedynczej etykiecie, instancja danych 3 i 4 to dane o dwóch etykietach, a instancja danych 5 to dane o trzech etykietach.

Teraz mam PredifiedLabel Matrix instancji danych przy użyciu algorytmu.

Chciałbym poznać różne miary, które można wykorzystać do zmierzenia dobroci matrycy PredictLabel w porównaniu do matrycy znanej.

Mogę myśleć o różnicy między normami frobeinus jako jednym z mierników. Ale szukam takiej miary, jak dokładność $(= \frac{\text{Correctly_predicted_instance}}{\text{total_instance}})$

W jaki sposób możemy zdefiniować dla wielu wystąpień danych? $\rm Correctly\_predicted$

machine-learning data-mining multilabel

— Uczeń
źródło

(+1) Sidenote: Czy istnieje konkretny powód, dla którego nie zaakceptowałeś odpowiedzi na większość swoich pytań? Dlaczego nie opublikowałeś komentarza, gdy podana odpowiedź nie rozwiązała Twojego problemu? Np stats.stackexchange.com/questions/9947/...

— Steffen

Odpowiedzi:

(1) daje ładny przegląd:

Klasyfikacja wielu marek na stronie Wikipedii zawiera również sekcję dotyczącą wskaźników oceny.

Dodałbym ostrzeżenie, że w ustawieniach na wielu etykietach dokładność jest niejednoznaczna: może odnosić się do dokładnego współczynnika dopasowania lub wyniku Hamminga (zobacz ten post ). Niestety wiele artykułów używa terminu „dokładność”.

(1) Sorower, Mohammad S. „ Badanie literatury na temat algorytmów uczenia się wielu marek. ” Oregon State University, Corvallis (2010).

— Franck Dernoncourt
źródło

Czy te definicje są sprzeczne z ogólnymi definicjami Precyzji i przywołania? Zawsze czytałem, że precyzja powinna dzielić przez TP + FP i przypominać powinna dzielić przez TP + FN (proponowane tutaj definicje działają odwrotnie, jeśli dobrze rozumiem).

— tomasyany

Y_{i} \in Y = {0, 1}^{k}

$Y_i \in \mathcal{Y} = \{0, 1\}^k$

i

$i$

Z_{i} = h (x_{i}) = {0, 1}^{k}

$Z_i = h(\mathbf{x}_i) = \{0, 1\}^k$

h

$h$

Y_{i}

$Y_i$

Z_{i}

$Z_i$

na accuracymiarę, jak elegancko radzić sobie z przypadkami, w których mianownik |Y + Z| == 0?

— ihadanny

@tomasyany odnosi się do definicji tekstowych (nie formuł), które wydają się być zmieniane.

— Narfanar

A ta definicja AP przypomina bardziej mAP (średni AP), nie? To, co określa się mianem „dokładności”, to średnie IoU. Warunki są ogólnie dość mylące.

— Narfanar

Hamming Loss jest prawdopodobnie najczęściej stosowaną funkcją straty w klasyfikacji wielu marek.

Rzuć okiem na badania empiryczne na temat klasyfikacji wielu marek i klasyfikacji wielu marek : przegląd , z których oba to omawiają.

— tdc
źródło

Correctly Predictedto przecięcie zestawu sugerowanych etykiet z zestawem oczekiwanym. Total Instancesjest sumą powyższych zestawów (bez liczby duplikatów).

Biorąc pod uwagę jeden przykład, w którym przewidujesz klasy, A, G, Ea przypadek testowy ma takie, E, A, H, Pjak te, na których kończyszAccuracy = Intersection{(A,G,E), (E,A,H,P)} / Union{(A,G,E), (E,A,H,P)} = 2 / 5

— Marsellus Wallace
źródło