Klasyfikacja ze wzmocnieniem gradientowym: Jak zachować prognozę w [0,1]

17

Pytanie

Staram się zrozumieć, w jaki sposób prognoza jest utrzymywana w przedziale $[0,1]$ podczas klasyfikacji binarnej z funkcją wzmocnienia gradientu.

Załóżmy, że pracujemy nad problemem klasyfikacji binarnej, a naszą funkcją celu jest utrata logów, $-\sum y_i \log(H_m(x_i)) + (1-y_i) \log(1-H_m(x_i))$ , gdzie $y$ jest zmienną docelową a jest naszym obecnym modelem. $\in \{0,1\}$ $H$

Kiedy kolejnego słabego ucznia tak aby nasz nowy model to , jaki jest mechanizm, który powinien utrzymywać ? A może bardziej trafne pytanie, czy istnieje taki mechanizm? $h_i$ $H_i = H_{i-1} + h_i$ $H_i \in [0,1]$

Więcej informacji o tym, co robię

Próbuję wdrożyć wzmocnienie gradientu, używając drzew regresji. Aby tego uniknąć, należy pomnożyć $h_i$ przez współczynnik $c \in [0,c_{\text{max}}]$ , tak że $H + c_{\text{max}}h$ nie spada poniżej zera lub powyżej jeden i wybieram $c$ tym zakresie, który minimalizuje funkcję strat.

To pociąga za sobą następujący problem: po kilku rundach mam jeden punkt, który jest doskonale sklasyfikowany, a najlepszy dostępny podział, aby przesunąć klasyfikator w kierunku gradientu, chce przesunąć ten punkt ponad jeden, czego upewniam się, że nie nastąpi ustawienie . Zatem cała następna iteracja wybierze ten sam podział i to samo . $c = 0$ $c = 0$

Próbowałem popularnych praktyk regularyzacji

Zmniejszenie szybkości uczenia się przez pomnożenie przez . To tylko opóźnia problem. $c$ $\mu = 0.01$
Podpróbkowanie przestrzeni cech, ale niektóre punkty są bardzo łatwe do sklasyfikowania, zaznaczają prawie każde pole w polu „czy to jest pozytywne?” forma i prawie każdy „dobry podział” pokazuje takie zachowanie.

Myślę, że to nie jest problem z parametrami i powinien być bardziej rozsądny sposób, aby to naprawić. Nie odrzucam możliwości zepsucia mojej implementacji, ale nie znalazłem nic, co mogłoby rozwiązać ten problem.

To, czym manipulujemy, w kontekście utraty logistyki, powinno być prawdopodobieństwem, więc jak tego uniknąć?

Moją intuicją byłoby umieszczenie modelu, który budujemy, , w funkcji sigmoidalnej, tak że jest on ograniczony do , i myślę, że to by działało, ale chcę wiedzieć, czy istnieją inne rozwiązania. Ponieważ wydaje się, że zwiększanie gradientu jest z powodzeniem stosowane w zadaniach klasyfikacji, powinno istnieć „prawidłowe” (tj. Z uzasadnieniem) rozwiązanie. $H$ $[0,1]$

logistic classification boosting

— Mruga
źródło

Możesz wymagać, aby był multiplikatywny, ponieważ

zachowuje się addytywnie z innymi Twoimi ekspertami.

H

$H$

\ln (H)

$\ln(H)$

— Alex R.

22

Lubię o tym myśleć analogicznie do przypadku modeli liniowych i ich rozszerzenia na GLM (uogólnione modele liniowe).

W modelu liniowym dopasowujemy funkcję liniową, aby przewidzieć naszą odpowiedź

\hat{y} = β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}

$\hat y = \beta_0 + \beta_1 x_1 + \cdots \beta_n x_n$

Aby uogólnić na inne sytuacje, wprowadzamy funkcję link, która przekształca liniową część modelu na skalę odpowiedzi (technicznie jest to link odwrotny, ale myślę, że łatwiej jest o tym myśleć, przekształcając predyktor liniowy w odpowiedź, niż przekształcenie odpowiedzi w predyktor liniowy).

Na przykład model logistyczny używa funkcji sigmoid (lub logit)

\hat{y} = \frac{1}{1 + \exp (- (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}))}

$\hat y = \frac{1}{1 + \exp(-(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n))}$

a regresja Poissona wykorzystuje funkcję wykładniczą

\hat{y} = \exp (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n})

$\hat y = \exp(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n)$

Aby skonstruować analogię ze wzmocnieniem gradientu, zastępujemy liniową część tych modeli sumą wzmocnionych drzew. Na przykład przypadek gaussowski (analogiczny do regresji liniowej) staje się dobrze znany

\hat{y} = \sum_{i} h_{i}

$\hat y = \sum_i h_i$

gdzie jest naszą sekwencją słabych uczniów. Przypadek dwumianowy jest analogiczny do regresji logistycznej (jak zauważyłeś w odpowiedzi) $h_i$

\hat{y} = \frac{1}{1 + \exp (- \sum_{i} h_{i})}

$\hat y = \frac{1}{1 + \exp\left(-\sum_i h_i\right)}$

a wzmocnienie Poissona jest analogiczne do regresji Poissona

\hat{y} = \exp (\sum_{i} h_{i})

$\hat y = \exp\left(\sum_i h_i\right)$

Pozostaje pytanie, w jaki sposób można dopasować te wzmocnione modele, gdy włączona jest funkcja link? W przypadku gaussowskim, gdzie link jest funkcją tożsamości, często słyszana mantra dopasowania słabych uczniów do resztek obecnego modelu roboczego działa, ale tak naprawdę nie uogólnia to na bardziej skomplikowane modele. Sztuką jest napisanie funkcji straty, która jest minimalizowana jako funkcja liniowej części modelu (tj. Części formuły GLM). $\sum_i \beta_i x_i$

Na przykład utrata dwumianowa zwykle występuje jako

\sum_{i} y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})

$\sum_i y_i \log(p_i) + (1 - y_i)\log(1 - p_i)$

$p_i$ $p_i$ $L_i$ $L_i$

\sum_{i} y_{i} L_{i} - \log (1 + \exp (L_{i}))

$\sum_i y_i L_i - \log(1 + \exp(L_i))$

$L$

Dopiero na samym końcu, kiedy chcemy stworzyć prognozy dla użytkownika, zastosujemy funkcję link do końcowej sekwencji słabych uczniów, aby umieścić prognozy na tej samej skali co odpowiedź. Dopasowując model, cały czas pracujemy wewnętrznie w skali liniowej.

— Matthew Drury
źródło

2

r \in (- \infty, \infty)

$r \in (-\infty, \infty)$

- \sum_{i} (y_{i} \log \frac{1}{1 + e^{- r}} + (1 - y_{i}) \log (1 - \frac{1}{1 + e^{- r}}))

$- \sum_i \big( y_i \log \frac{1}{1+e^{-r}}+(1-y_i)\log ( 1 - \frac{1}{1+e^{-r}}) \big)$

r

$r$

@ matthew-drury Czy mógłbyś dodać trochę światła w wielomianowej części klasy K tego samego algorytmu, w której podobny pomysł został rozszerzony, aby nad nim zadziałać?

— MixCoded

6

Po niektórych badaniach wydaje się, że moja intuicja i komentarz Alexa R. mają rację.

$[0,1]$ $H$ $H \in \mathbb{R}$

\frac{1}{1 + e^{- H}} \in [0, 1]

$\frac{1}{1 + e^{-H}} \in [0,1]$

H

$H$

Zasugerowano to w artykule Addytywna regresja logistyczna: statystyczny pogląd na zwiększenie przez Friedmana, Hastie i Tibshirani, aby zbudować LogitBoost (Wikipedia) , adaptację AdaBoost (Wikipedia) do utraty logistycznej.

Mówiąc bardzo prosto, jeśli możliwe jest przejście od regresji liniowej do regresji logistycznej przez dodanie sigmoidu, to działa również na konwersję wzmocnienia regresji na zwiększenie klasyfikacji.

— Mruga
źródło