Dlaczego istnieją dwa różne formuły / notacje dotyczące utraty logistyki?

Widziałem dwa rodzaje formuł logistycznych strat. Możemy łatwo pokazać, że są identyczne, jedyną różnicą jest definicja etykiety $y$ .

Formułowanie / notacja 1, $y \in \{0, +1\}$ :

L (y, β^{T} x) = - y \log (p) - (1 - y) \log (1 - p)

$L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p)$

gdzie , gdzie funkcja logistyczna odwzorowuje liczbę rzeczywistą na interwał 0,1. $p=\frac 1 {1+\exp(-\beta^Tx)}$ $\beta^T x$

Formulacja / notacja 2, : $y \in \{-1, +1\}$

L (y, β^{T} x) = \log (1 + \exp (- y \cdot β^{T} x))

$L(y,\beta^Tx)=\log(1+\exp{(-y\cdot \beta^Tx}))$

Wybór notacji jest jak wybór języka, są plusy i minusy, aby użyć jednego lub drugiego. Jakie są zalety i wady tych dwóch notacji?

Próbuję odpowiedzieć na to pytanie, ponieważ wydaje się, że społeczność statystyczna lubi pierwszą notację, a społeczność informatyczna lubi drugą notację.

Pierwszą notację można wyjaśnić terminem „prawdopodobieństwo”, ponieważ funkcja logistyczna przekształca liczbę rzeczywistą na interwał 0,1. $\beta^Tx$
Drugi zapis jest bardziej zwięzły i łatwiej go porównać z utratą zawiasu lub utratą 0-1.

Czy mam rację? Jakieś inne spostrzeżenia?

— Haitao Du
źródło

Jestem pewien, że trzeba było to już zadawać wiele razy. Np. Stats.stackexchange.com/q/145147/5739

— StasK

Dlaczego uważasz, że drugi zapis jest łatwiejszy do porównania z utratą zawiasów? Tylko dlatego, że jest zdefiniowany na

zamiast

, czy coś innego?

{- 1, 1}

$\{-1, 1\}$

{0, 1}

$\{0, 1\}$

— shadowtalker

Trochę mi się podoba symetria pierwszej formy, ale część liniowa jest zakopana dość głęboko, więc może być trudno z nią pracować.

— Matthew Drury

@ssdecontrol proszę sprawdzić ten rysunek, cs.cmu.edu/~yandongl/loss.html gdzie oś x to

, a oś y to wartość strat. Taka definicja jest wygodna do porównania z utratą 01, utratą zawiasów itp.

- y \cdot β^{T} x

$-y\cdot \beta^Tx$

— Haitao Du

Odpowiedzi:

Krótka wersja

Długa wersja

Zaletą modelowania matematycznego jest to, że jest elastyczny. Są to rzeczywiście równoważne funkcje strat, ale wynikają z bardzo różnych podstawowych modeli danych.

Formuła 1

Pierwsza notacja pochodzi z modelu prawdopodobieństwa Bernoulliego dla , który jest konwencjonalnie zdefiniowany w . W tym modelu, wynik / etykieta / klasa / prognozowania jest reprezentowany przez zmienną losową , który występuje po dystrybucji. Dlatego jego prawdopodobieństwo wynosi: $y$ $\{0, 1\}$ $Y$ $\mathrm{Bernoulli}(p)$

P (Y = y | p) = L (p; y) = p^{y} (1 - p)^{1 - y} = {\begin{cases} 1 - p & y = 0 \\ p & y = 1 \end{cases}

$P(Y = y\ |\ p) = \mathcal L(p; y) = p^y\ (1-p)^{1-y} = \begin{cases}1-p &y=0 \\ p &y=1 \end{cases}$

dla . Użycie 0 i 1 jako wartości wskaźnika pozwala nam zredukować funkcję częściową po prawej stronie do zwięzłego wyrażenia. $p\in[0, 1]$

Jak już zauważyłeś, możesz połączyć z macierzą danych wejściowych , pozwalając . Stąd prosta manipulacja algebraiczna ujawnia, że jest taki sam jak pierwszy w twoim pytaniu (wskazówka: ). Minimalizując utratę logów w ciągu $Y$ $x$ $\operatorname{logit} p = \beta^T x$ $\log \mathcal L(p;y)$ $L(y, \beta^Tx)$ $(y - 1) = - (1 - y)$ jest równoważne oszacowaniu maksymalnego prawdopodobieństwa modelu Bernoulliego. $\{0, 1\}$

Sformułowanie to jest również szczególnym przypadkiem uogólnionego modelu liniowego , który jest sformułowany jako dla odwracalnej, różniczkowalnej funkcji i rozkładu w rodzinie wykładniczej . $Y \sim D(\theta),\ g(Y) = \beta^T x$ $g$ $D$

Formuła 2

$y$ $\{-1, 1\}$

max ({0, 1 - y β^{T} x}) + λ ‖ β ‖^{2} .

$\max \left(\{0, 1 - y \beta^T x \}\right) + \lambda \|\beta\|^2.$

ℓ (y, β) + λ ‖ β ‖^{2}

$\ell(y, \beta) + \lambda \|\beta\|^2$

ℓ

$\ell$

λ

$\lambda$

β

$\beta$

ℓ

$\ell$

L (y, β^{T} x)

$L(y, \beta^Tx)$

— Shadowtalker
źródło

p^{y} (1 - p)^{1 - y 1 - y}

$p^y(1 - p)^{\pmb{1 - y}}$

Myślę, że @ssdecontrol miał bardzo dobrą odpowiedź. Chcę tylko dodać kilka uwag do formuły 2 do mojego pytania.

L (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L(y,\hat y)=\log(1+\exp{(-y\cdot \hat y}))$

Ludzie lubią to sformułowanie, ponieważ jest ono bardzo zwięzłe i usuwa „szczegóły interpretacji prawdopodobieństwa”.

$\hat y$ $y$ $\hat y$

L_{01} (y, \hat{y}) = I [y \cdot \hat{y} > 0] L_{hinge} (y, \hat{y}) = (1 - y \cdot \hat{y})_{+} L_{logistic} (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L_{01}(y,\hat y)=I[y \cdot \hat y >0]\\ L_{\text{hinge}}(y,\hat y)=(1-y \cdot \hat y)_+\\ L_{\text{logistic}}(y,\hat y)=\log(1+\exp(-y \cdot \hat y))$

$y \cdot \hat y$ $\hat y$ $\beta^Tx$

— Haitao Du
źródło

I see what you mean about easy comparison

— shadowtalker