Czy przewidywane prawdopodobieństwo regresji logistycznej można interpretować jako zaufanie do klasyfikacji

12

Czy możemy interpretować późniejsze prawdopodobieństwo uzyskane z klasyfikatora, który generuje przewidywaną wartość klasy i prawdopodobieństwo (na przykład regresję logistyczną lub Naive Bayesa) jako pewnego rodzaju wynik ufności przypisany do tej przewidywanej wartości klasy?

probability logistic naive-bayes

— mel
źródło

8

Jak inne odpowiedzi poprawnie stwierdzają, zgłaszane prawdopodobieństwa z modeli takich jak regresja logistyczna i naiwne Bayesa są szacunkami prawdopodobieństwa klasy. Gdyby model był prawdziwy, prawdopodobieństwo rzeczywiście oznaczałoby prawdopodobieństwo poprawnej klasyfikacji.

Jednak ważne jest, aby zrozumieć, że może to być mylące, ponieważ model jest szacowany, a zatem nie jest poprawny. Istnieją co najmniej trzy problemy.

Niepewność szacunków.
Błędna specyfikacja modelu.
Stronniczość.

Niepewność jest po prostu wszędzie obecny fakt, że prawdopodobieństwo to tylko szacunkowe. Przedział ufności szacowanego prawdopodobieństwa klasowego może dać pewne pojęcie o niepewności (prawdopodobieństwa klasowego, a nie klasyfikacji).

$-$ $-$

Jeśli procedura estymacji (celowo) zapewnia oszacowanie stronnicze , prawdopodobieństwa klasowe są błędne. Jest to coś, co widzę w metodach regularyzacji, takich jak lasso i grzbiet regresji logistycznej. Chociaż potwierdzony krzyżowo wybór regularyzacji prowadzi do modelu o dobrej wydajności pod względem klasyfikacji, wynikające z tego prawdopodobieństwa klasowe są wyraźnie niedoszacowane (zbyt blisko 0,5) w przypadkach testowych. Niekoniecznie jest to złe, ale należy o tym pamiętać.

— NRH
źródło

2

W przypadku testowym (dane wejściowe) jego przewidywana prawdopodobieństwo (np. Etykieta 1 dla wyjścia binarnego) to szansa, że przykładowy test należy do tej klasy. W wielu takich przypadkach testowych proporcja należąca do klasy 1 będzie miała tendencję do przewidywania prawdopodobieństwa. Zaufanie ma konotacje przedziałów ufności, które są czymś zupełnie innym.

— Yoda
źródło

1

Jeśli klasyfikator przewiduje pewną klasę z prawdopodobieństwem, liczbę tę można wykorzystać jako przybliżenie stopnia ufności w tej klasyfikacji. Nie mylić z przedziałami ufności. Na przykład, jeśli klasyfikator P przewiduje dwa przypadki jako +1 i -1 z prawdopodobieństwem 80% i 60%, słusznie jest powiedzieć, że jest bardziej pewny klasyfikacji +1 niż klasyfikacji -1. Wariancja mierzona p (1-p) jest również dobrą miarą niepewności. Zauważ, że podstawowe zaufanie wynosi 50%, a nie 0.

— brokuły
źródło

1

Biorąc pod uwagę klasyfikator z 2 klasami (np. 2 klasowy liniowy dyskryminator lub klasyfikator regresji logistycznej) wartość dyskryminacyjną dla obu klas można zastosować do funkcji softmax, aby uzyskać oszacowanie prawdopodobieństwa a posteriori dla tej klasy:

P1 = exp (d1) / (exp (d1) + exp (d2))

Gdzie P1 jest oszacowaniem prawdopodobieństwa a posteriori dla klasy 1, d1 i d2 są wartościami dyskryminującymi odpowiednio dla klas 1 i 2. W tym przypadku oszacowane prawdopodobieństwo tylne dla danej klasy można przyjąć jako stopień pewności w klasie, dla danego przypadku, ponieważ P1 będzie wynosić 1 - P2.

— BGreene
źródło

1

Ta odpowiedź wydaje się utożsamiać „prawdopodobieństwo” z „pewnością”, podczas gdy odpowiedź @ Yody (poprawnie) rozróżnia te dwie rzeczy.

— whuber

@ whuber Myślę, że ogólnie zaufanie można postrzegać jako siłę wiary. W ten sposób jest jak prawdopodobieństwo. Przedział ufności i przedział ufności to dwie różne rzeczy. Jednak nawet dla terminu przedział ufności poziom ufności jest prawdopodobieństwem pokrycia dla przedziału losowego.

— Michael R. Chernick

Nie zgadzam się z twoimi uwagami, @Michael, w tym sensie, że pojęcie takie jak „wynik zaufania” może znaczyć prawie wszystko (ale być może jego użycie powinno być przestarzałe z tego właśnie powodu). Jednak w jakim sensie wartość dopasowana przez regresję logistyczną jest „prawdopodobieństwem pokrycia”? Czy proponowane użycie „zaufania” jako siły przekonania czyni go synonimem subiektywnego „prawdopodobieństwa”, czy też nadal zachowuje się jakieś rozróżnienie? (Jeśli tak, to co?)

— whuber

1

@ whuber Myślę, że zagłębiasz się w to głębiej, niż zamierzałem z moją uwagą. Chcę tylko powiedzieć, że tylko dlatego, że często łączymy słowo „pewność” z przedziałem ufności, nie oznacza to, że ocena ufności terminu OP nie może być używana do oznaczenia prawdopodobieństwa (być może jak bayesowskie postrzeganie prawdopodobieństwa jako subiektywnego poziomu wiary, ale niekoniecznie).

— Michael R. Chernick

1

@ whuber, rzeczywiście miałem na myśli zaufanie do etykiety klasy w sensie „siły wiary”, tj. im większa wartość prawdopodobieństwa a posteriori dla danej klasy, tym większe zaufanie do przewidywanej etykiety klasy. Jednak chętnie usunę tę odpowiedź.

— BGreene,