Jak każda metryka, dobra metryka jest ta lepsza niż „głupie”, przypadkowe zgadnięcie, gdybyś musiał zgadywać bez informacji na temat obserwacji. W statystykach nazywa się to modelem wyłącznie przechwytywania.
To „głupie” odgadnięcie zależy od 2 czynników:
- liczba klas
- bilans klas: ich przewaga w obserwowanym zbiorze danych
W przypadku metryki LogLoss jedną z powszechnie znanych „ metryk ” jest stwierdzenie, że 0,693 jest wartością nieinformacyjną. Liczbę tę uzyskuje się przez przewidywanie p = 0.5
dla dowolnej klasy problemu binarnego. Dotyczy to tylko zrównoważonych problemów binarnych . Ponieważ gdy rozpowszechnienie jednej klasy wynosi 10%, zawsze będziesz przewidywał p =0.1
dla tej klasy. To będzie twoja podstawowa głupia, przypadkowa prognoza, ponieważ przewidywanie 0.5
będzie głupsze.
I. Wpływ liczby klas N
na głupi logloss:
W przypadku zrównoważonym (każda klasa ma tę samą przewagę), gdy przewidujesz p = prevalence = 1 / N
dla każdej obserwacji, równanie staje się po prostu:
Logloss = -log(1 / N)
log
istota Ln
logarytmem nepijskim dla tych, którzy stosują tę konwencję.
W przypadku binarnym N = 2
:Logloss = - log(1/2) = 0.693
Więc głupie Loglosses są następujące:
II. Wpływ rozpowszechnienia klas na głupiego Loglossa:
za. Przypadek klasyfikacji binarnej
W takim przypadku zawsze przewidujemy p(i) = prevalence(i)
i otrzymujemy następującą tabelę:
Tak więc, gdy klasy są bardzo niezrównoważone (częstość <2%), utrata logarytmu wynosząca 0,1 może być naprawdę bardzo zła! W takim przypadku dokładność 98% byłaby zła. Więc może Logloss nie byłby najlepszym miernikiem do użycia
b. Obudowa trójklasowa
„Głupi” - brak logotypu w zależności od rozpowszechnienia - przypadek trzech klas:
Widzimy tutaj wartości zrównoważonych przypadków binarnych i trójklasowych (0,69 i 1,1).
WNIOSEK
Logloss 0,69 może być dobry w przypadku problemu wieloklasowego, a bardzo zły w przypadku binarnej stronniczości.
W zależności od przypadku lepiej jest obliczyć podstawę problemu, aby sprawdzić znaczenie swojej prognozy.
W stronniczych przypadkach rozumiem, że logloss ma ten sam problem co dokładność i inne funkcje utraty: zapewnia jedynie globalny pomiar twojej wydajności. Lepiej więc uzupełnij swoje zrozumienie miernikami koncentrującymi się na klasach mniejszościowych (przypominanie i precyzja), a może w ogóle nie używaj loglossa.