Hesjan funkcji logistycznej

Mam trudności z wyprowadzeniem Hesji funkcji celu, , w regresji logistycznej, gdzie wynosi: $l(\theta)$$l(\theta)$

$$l(\theta)=\sum_{i=1}^{m} \left[y_{i} \log(h_\theta(x_{i})) + (1- y_{i}) \log (1 - h_\theta(x_{i}))\right]$$

$h_\theta(x)$ to funkcja logistyczna. Hessian to . Próbowałem to wyliczyć, obliczając , ale wtedy nie było dla mnie oczywiste, jak dostać się do notacji macierzowej z .$X^T D X$$\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$$\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$

Czy ktoś zna jakiś czysty i łatwy sposób na uzyskanie ?$X^T D X$

Tutaj czerpię wszystkie niezbędne właściwości i tożsamości, aby rozwiązanie było samodzielne, ale oprócz tego wyprowadzenie jest czyste i łatwe. Sformalizujmy naszą notację i napiszmy nieco funkcję zwartości. Rozważmy próbki takie, że i . Przypomnijmy, że w binarnej regresji logistycznej zwykle mamy funkcję hipotezy jest funkcją logistyczną. Formalnie$m$$\{x_i,y_i\}$$x_i\in\mathbb{R}^d$$y_i\in\mathbb{R}$$h_\theta$

$$h_\theta(x_i)=\sigma(\omega^Tx_i)=\sigma(z_i)=\frac{1}{1+e^{-z_i}},$$

gdzie oraz . Funkcja straty (która moim zdaniem OP nie ma znaku ujemnego) jest następnie definiowana jako:$\omega\in\mathbb{R}^d$$z_i=\omega^Tx_i$

$$l(\omega)=\sum_{i=1}^m -\Big( y_i\log\sigma(z_i)+(1-y_i)\log(1-\sigma(z_i))\Big)$$

Istnieją dwie ważne właściwości funkcji logistycznej, które wyprowadzam tutaj na przyszłość. Najpierw zauważ, że .$1-\sigma(z)=1-1/(1+e^{-z})=e^{-z}/(1+e^{-z})=1/(1+e^z)=\sigma(-z)$

Zauważ też, że

$$\begin{equation} \begin{aligned} \frac{\partial}{\partial z}\sigma(z)=\frac{\partial}{\partial z}(1+e^{-z})^{-1}=e^{-z}(1+e^{-z})^{-2}&=\frac{1}{1+e^{-z}}\frac{e^{-z}}{1+e^{-z}} =\sigma(z)(1-\sigma(z)) \end{aligned} \end{equation}$$

Zamiast podejmować pochodnych w odniesieniu do komponentów, tutaj będziemy pracować bezpośrednio z wektorami (można przejrzeć pochodne wektorami tutaj ). Hessian funkcji straty jest podany przez , ale najpierw pamiętaj, że i .$l(\omega)$$\vec{\nabla}^2l(\omega)$$\frac{\partial z}{\partial \omega} = \frac{x^T\omega}{\partial \omega}=x^T$$\frac{\partial z}{\partial \omega^T}=\frac{\partial \omega^Tx}{\partial \omega ^T} = x$

Niech . Wykorzystując powyższe właściwości i regułę łańcucha$l_i(\omega)=-y_i\log\sigma(z_i)-(1-y_i)\log(1-\sigma(z_i))$

$$\begin{equation} \begin{aligned} \frac{\partial \log\sigma(z_i)}{\partial \omega^T} &= \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial \omega^T} = \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial z_i}\frac{\partial z_i}{\partial \omega^T}=(1-\sigma(z_i))x_i\\ \frac{\partial \log(1-\sigma(z_i))}{\partial \omega^T}&= \frac{1}{1-\sigma(z_i)}\frac{\partial(1-\sigma(z_i))}{\partial \omega^T} =-\sigma(z_i)x_i \end{aligned} \end{equation}$$

Teraz jest to banalne

$$\vec{\nabla}l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega^T} =-y_ix_i(1-\sigma(z_i))+(1-y_i)x_i\sigma(z_i)=x_i(\sigma(z_i)-y_i)$$

uff!

Naszym ostatnim krokiem jest obliczenie Hesji

$$\vec{\nabla}^2l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega\partial \omega^T}=x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$$

Dla próbek mamy . Jest to równoważne konkatenację wektorów kolumny do macierzy o rozmiarze , tak że . Terminy skalarne są łączone w macierz diagonalną tak że . Wreszcie dochodzimy do wniosku$m$$\vec{\nabla}^2l(\omega)=\sum_{i=1}^m x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$$x_i\in\mathbb{R}^d$$X$$d\times m$$\sum_{i=1}^m x_ix_i^T=XX^T$$D$$D_{ii}=\sigma(z_i)(1-\sigma(z_i))$

$$\vec{H}(\omega)=\vec{\nabla}^2l(\omega)=XDX^T$$

Szybsze podejście można uzyskać, biorąc pod uwagę wszystkie próbki od początku i zamiast tego pracować z pochodnymi macierzowymi. Dodatkowo, w tym sformułowaniu banalne jest wykazanie, że jest wypukły. Niech będzie dowolnym wektorem takim, że . Następnie$l(\omega)$$\delta$$\delta\in\mathbb{R}^d$

$$\delta^T\vec{H}(\omega)\delta = \delta^T\vec{\nabla}^2l(\omega)\delta = \delta^TXDX^T\delta = \delta^TXD(\delta^TX)^T = \|\delta^TDX\|^2\geq 0$$

od i . To implikuje, że jest dodatnio-pół-skończony, a zatem jest wypukły (ale nie silnie wypukły).$D>0$$\|\delta^TX\|\geq 0$$H$$l$