0-1 Objaśnienie funkcji utraty

19

Próbuję zrozumieć, jaki jest cel funkcji utraty i nie do końca rozumiem.

Tak więc, o ile rozumiem, funkcja straty służy wprowadzeniu pewnego rodzaju miernika, za pomocą którego możemy zmierzyć „koszt” niewłaściwej decyzji.

Powiedzmy, że mam zestaw danych z 30 obiektami, podzieliłem je na zestawy szkoleniowe / testowe, takie jak 20/10. Będę używać funkcji utraty 0-1, więc powiedzmy, że mój zestaw etykiet klas to M, a funkcja wygląda następująco :

L. (ja, jot) = {\begin{cases} 0 ja = jot \\ 1 ja \neq jot \end{cases} ja, jot \in M.

$L(i, j) = \begin{cases} 0 \qquad i = j \\ 1 \qquad i \ne j \end{cases} \qquad i,j \in M$

Więc zbudowałem jakiś model na podstawie danych treningowych, powiedzmy, że używam klasyfikatora Naive Bayes, a ten model poprawnie sklasyfikował 7 obiektów (przypisano im prawidłowe etykiety klas), a 3 obiekty zostały sklasyfikowane nieprawidłowo.

Więc moja funkcja utraty zwróci „0” 7 razy, a „1” 3 razy - jaki rodzaj informacji mogę z tego uzyskać? Czy mój model nieprawidłowo sklasyfikował 30% obiektów? A może jest coś więcej?

Jeśli w moim myśleniu są jakieś błędy, bardzo mi przykro, próbuję się tylko nauczyć. Jeśli podany przeze mnie przykład jest „zbyt abstrakcyjny”, daj mi znać, postaram się sprecyzować. Jeśli spróbujesz wyjaśnić tę koncepcję na innym przykładzie, użyj funkcji utraty 0-1.

machine-learning loss-functions

— Johnny Johansson
źródło

14

Poprawnie podsumowałeś funkcję utraty 0-1 jako efektywnie patrząc na dokładność. Twoje 1 stają się wskaźnikami dla błędnie sklasyfikowanych przedmiotów, niezależnie od tego, jak zostały błędnie sklasyfikowane. Ponieważ masz trzy 1 na 10 pozycji, twoja dokładność klasyfikacji wynosi 70%.

Jeśli zmienisz ważenie funkcji straty, ta interpretacja nie ma już zastosowania. Na przykład w klasyfikacji choroby pominięcie dodatniego przypadku choroby (fałszywie ujemnego) może być bardziej kosztowne niż fałszywe zdiagnozowanie choroby (fałszywie dodatniego). W takim przypadku funkcja utraty będzie w większym stopniu obciążać fałszywe ujemne klasyfikacje. Suma twoich strat nie reprezentowałaby już dokładności w tym przypadku, a raczej całkowity „koszt” błędnej klasyfikacji. Funkcja utraty 0-1 jest wyjątkowa pod względem równoważności z dokładnością, ponieważ zależy Ci tylko na tym, czy masz rację, czy nie, a nie na tym, jak popełniane są błędy.

— Nuclear Wang
źródło

@JohnnyJohansson, czyli definicja dokładności w statystykach, patrz en.wikipedia.org/wiki/Sensitivity_and_specificity

— Tim

@Tim - Nadal jestem zdezorientowany przez funkcję straty 0-1 - czy wynikowa macierz może mieć wartości większe niż 1, tzn. Jeśli istnieją 3 błędne klasyfikacje, zobaczylibyśmy wartość 3 w odpowiednim wpisie? patrz tutaj math.stackexchange.com/questions/2623072/…

— Xavier Bourret Sicotte

2

Tak, w zasadzie to wszystko: liczysz liczbę błędnie sklasyfikowanych przedmiotów. Nie kryje się za tym nic więcej, jest to bardzo podstawowa funkcja strat. utrata 0-1 prowadzi do trybu szacowania rozkładu docelowego (w porównaniu ze stratą dla oszacowania mediany i stratą dla oszacowania średniej). $L_1$ $L_2$

— Tim
źródło

0

Myślę, że twoje zamieszanie nie rozróżnia straty dla jednego punktu danych od straty dla całego zestawu danych.

$L(y,\hat y)$

\sum_{ja} L. (y_{ja}, {\hat{y}}_{ja})

$\sum_i L(y_i,\hat y_i)$

— Haitao Du
źródło

Właściwie to dostaję różnicę, ale trudno mi zrozumieć, czego potrzebowałbym tej straty dla jednego punktu danych niż obliczenie straty dla całego zestawu danych? I co powinienem wziąć pod uwagę, wybierając odpowiednią funkcję straty dla konkretnego problemu?

— Johnny Johansson