Dlaczego regresja logistyczna daje dobrze skalibrowane modele?

Rozumiem, że jednym z powodów, dla których regresja logistyczna jest często używana do przewidywania współczynników klikalności w sieci, jest fakt, że produkuje ona dobrze skalibrowane modele. Czy istnieje na to dobre matematyczne wytłumaczenie?

regression logistic

— lsankar4033
źródło

regresja logistyczna wykonana w celu przewidywania prawdopodobieństw -> które prowadzą do skalibrowanych prognoz, jeśli nie są nadmierne podczas gdy większość modeli uczenia maszynowego nie przewiduje probabilitów, ale raczej klasy - i istnieje pewien zniekształcenie pochodnych pseudo-probabilitów na podstawie tych prognoz -> dlatego zauważmy, że są dobrze skalibrowane

— Charles

Powinienem był wyjaśnić to pytanie, ale moje pytanie dotyczyło raczej tego, dlaczego LR jest tak przydatny do przewidywania prawdopodobieństw.

— lsankar4033 23.04.16

Warto zauważyć, że można po prostu dopasować regresję logistyczną do wyjścia źle skalibrowanego klasyfikatora, aby uzyskać skalibrowany model. Nazywa się to Platt Scaling en.wikipedia.org/wiki/Platt_scaling

— generic_user

Odpowiedzi:

Tak.

Przewidywany wektor prawdopodobieństwa z regresji logistycznej spełnia równanie macierzowe $p$

X^{t} (p - y) = 0

$X^t(p - y) = 0$

Gdzie jest macierzą obliczeniową, jest wektorem odpowiedzi. Można to postrzegać jako zbiór równań liniowych, wynikający z każdej kolumny macierzy wzór . $X$ $y$ $X$

Specjalizując się w kolumnie przechwytywania (która jest rzędem w transponowanej macierzy), powiązane równanie liniowe to

\sum_{ja} (p_{ja} - y_{ja}) = 0

$\sum_i( p_i - y_i) = 0$

więc ogólne średnie przewidywane prawdopodobieństwo jest równe średniej odpowiedzi.

Mówiąc bardziej ogólnie, dla kolumny cech binarnych powiązane równanie liniowe to $x_{ij}$

\sum_{ja} x_{ja jot} (p_{ja} - y_{ja}) = \sum_{ja ∣ x_{ja jot} = 1} (p_{ja} - y_{ja}) = 0

$\sum_i x_{ij}(p_i - y_i) = \sum_{i \mid x_{ij} = 1}(p_i - y_i) = 0$

więc suma (a zatem średnia) przewidywanych prawdopodobieństw równa się sumie odpowiedzi, nawet gdy specjalizuje się w tych rekordach, dla których . $x_{ij} = 1$

— Matthew Drury
źródło

@MatthewDrury jak mogę zinterpretować twoje pierwsze równanie? jest

w postaci

? Niemniej jednak ta liniowa zależność jest zachowana? Dziękuję Ci!

p

$p$

1 / (1 + \exp (- x))

$1/(1+\exp(-x))$

— Ric

Tak, p ma taką postać. Pierwsze równanie pochodzi od ustawienia pochodnej funkcji straty na zero.

— Matthew Drury

Dotyczy to tylko kalibracji w dużym, co nie jest tym, czego chcemy: kalibracji w małym.

— Frank Harrell,

@FrankHarrell Chcesz opracować? Nie słyszałem wcześniej tych warunków.

— Matthew Drury,

Historia literatury dotyczącej prognoz prawdopodobieństwa datowana na US Weather Service 1950 ma długą historię - właśnie tam wykorzystano wynik Briera. Kalibracja w małym oznacza, że jeśli spojrzymy na przewidywane ryzyko 0,01, 0,02, ..., 0,99, każde z nich jest dokładne, tj. Przez cały czas, gdy przewidywane ryzyko wynosiło 0,4, wynik miał miejsce około 0,4 czas. „Kalibrowanie w maleńkim” nazywam następnym krokiem: dla mężczyzn, u których przewidywanie wynosiło 0,4, wynik był obecny 0,4 czasu, a następnie dla kobiet.

— Frank Harrell,

Myślę, że mogę udzielić ci łatwego do zrozumienia wyjaśnienia w następujący sposób:

Wiemy , że jego funkcję utraty można wyrazić jako następującą funkcję:

jot (θ) = - \frac{1}{m} \sum_{ja = 1}^{m} [y^{(ja)} \log (h_{θ} (x^{(ja)})) + (1 - y^{(ja)}) \log (1 - h_{θ} (x^{(ja)}))]

$J(\theta) = -\frac{1}{m}\sum_{i=1}^m \left[ y^{(i)}\log\left(h_\theta \left(x^{(i)}\right)\right) + (1 -y^{(i)})\log\left(1-h_\theta \left(x^{(i)}\right)\right)\right]$
Gdziemreprezentuje liczbę wszystkie próbki szkoleniowe,

y^{(i)}

$y^{(i)}$ etykieta i-tej próbki,

h_{θ} (x^{(i)})

$h_{\theta}(x^{(i)})$ przewidywane prawdopodobieństwo i-tej próbki:

\frac{1}{1 + \exp [- α - \sum_{j} θ_{j} x_{j}^{(i)}]}

$\frac{1}{1+\exp[-\alpha -\sum_j \theta_j x^{(i)}_j]}$ . (zwróć uwagę na odchylenie

α

$\alpha$ tutaj)

Ponieważ celem szkolenia jest minimalizacja funkcji straty, pozwól nam ocenić jego pochodną cząstkową względem każdego parametru $\theta_j$ (szczegółowe wyprowadzenie można znaleźć tutaj ):

\frac{\partial jot (θ)}{\partial θ_{jot}} = \frac{1}{m} \sum_{ja = 1}^{m} [h_{θ} (x^{(ja)}) - y^{(ja)}] x_{jot}^{(ja)}

$\frac{\partial J(\theta)}{\partial \theta_j}=\frac{1}{m}\sum_{i=1}^m\left[h_\theta\left(x^{(i)}\right)-y^{(i)}\right]\,x_j^{(i)}$

\sum_{ja = 1}^{m} h_{θ} (x^{(ja)}) x_{jot}^{(ja)} = \sum_{ja = 1}^{m} y^{(ja)} x_{jot}^{(ja)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_j^{(i)}=\sum_{i=1}^m y^{(i)}\,x_j^{(i)}$

Oznacza to, że jeśli model jest w pełni przeszkolony, przewidywane prawdopodobieństwa, które otrzymujemy dla zestawu szkoleniowego, rozkładają się tak, że dla każdej cechy suma ważonych (wszystkich) wartości tej cechy jest równa sumie wartości tej cechy pozytywnych próbek.

$\alpha$ $x_0$ $\alpha$ $\theta_0$

\sum_{ja = 1}^{m} h_{θ} (x^{(ja)}) x_{0}^{(ja)} = \sum_{ja = 1}^{m} y^{(ja)} x_{0}^{(ja)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_0^{(i)}=\sum_{i=1}^m y^{(i)}\,x_0^{(i)}$

\sum_{ja = 1}^{m} h_{θ} (x^{(ja)}) = \sum_{ja = 1}^{m} y^{(ja)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)=\sum_{i=1}^m y^{(i)}$

h_{θ} (x^{(i)})

$h_\theta\left(x^{(i)}\right)$

\sum_{ja = 1}^{m} p^{(ja)} = \sum_{ja = 1}^{m} y^{(ja)}

$\sum_{i=1}^m p^{(i)} =\sum_{i=1}^m y^{(i)}$

Widać oczywiście, że regresja logistyczna jest dobrze skalibrowana.

Odniesienie: Modele logarytmiczno-liniowe i warunkowe pola losowe Charlesa Elkana

— Lerner Zhang
źródło