Utratę zawiasu można zdefiniować za pomocą a utratę logu można zdefiniować jako log ( 1 + exp ( - y i w T x i ) )
Mam następujące pytania:
Czy są jakieś wady utraty zawiasu (np. Wrażliwe na wartości odstające, jak wspomniano w http://www.unc.edu/~yfliu/papers/rsvm.pdf )?
Jakie są różnice, zalety, wady jednego w porównaniu do drugiego?
Odpowiedzi:
Minimalizacja strat logarytmicznych prowadzi do dobrze zachowanych wyników probabilistycznych.
Utrata zawiasu prowadzi do pewnej (nie gwarantowanej) rzadkości na podwójnym, ale nie pomaga w oszacowaniu prawdopodobieństwa. Zamiast tego karze błędne klasyfikacje (dlatego tak przydatne jest ustalanie marginesów): zmniejszenie utraty zawiasów wiąże się ze zmniejszeniem błędnych klasyfikacji marginesów.
Podsumowując:
Strata logarytmiczna prowadzi do lepszego oszacowania prawdopodobieństwa kosztem dokładności
Utrata zawiasów prowadzi do lepszej dokładności i pewnej rzadkości kosztem znacznie mniejszej wrażliwości dotyczącej prawdopodobieństw
@Firebug miał dobrą odpowiedź (+1). W rzeczywistości miałem podobne pytanie tutaj.
Jakie są skutki wyboru różnych funkcji strat w klasyfikacji do przybliżonej straty 0-1
Chcę tylko dodać więcej o kolejnej wielkiej przewadze straty logistycznej: interpretacji probabilistycznej. Przykład można znaleźć tutaj
W szczególności regresja logistyczna jest klasycznym modelem w literaturze statystycznej. (Zobacz, Co oznacza nazwa „regresja logistyczna”? Dla nazewnictwa.) Istnieje wiele ważnych koncepcji związanych z utratą logistyki, takich jak maksymalizacja oszacowania prawdopodobieństwa logarytmicznego, testy współczynnika wiarygodności, a także założenia dotyczące dwumianu. Oto kilka powiązanych dyskusji.
Test współczynnika wiarygodności w R.
Dlaczego regresja logistyczna nie jest nazywana klasyfikacją logistyczną?
Ponieważ @ hxd1011 dodał zaletę entropii krzyżowej, dodam jedną jego wadę.
Błąd entropii krzyżowej jest jedną z wielu miar odległości między rozkładami prawdopodobieństwa, ale jedną z jego wad jest to, że rozkłady o długich ogonach mogą być źle modelowane ze zbyt dużą wagą przypisywaną nieoczekiwanym zdarzeniom.