Od reguły Perceptron do zejścia gradientu: Czym różnią się Perceptrony z funkcją aktywacji sigmoidalnej od regresji logistycznej?

21

Zasadniczo moje pytanie brzmi: w perceptronach wielowarstwowych perceptrony są używane z funkcją aktywacji sigmoidalnej. Tak więc w regule aktualizacji jest obliczany jako $\hat{y}$

\hat{y} = \frac{1}{1 + \exp (- w^{T} x_{i})}

$\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$

Czym zatem ten „sigmoidalny” Perceptron różni się od regresji logistycznej?

Powiedziałbym, że jednowarstwowy sigmoidalny perceptron jest równoważny regresji logistycznej w tym sensie, że obaj używają w regule aktualizacji. Również oba zwracają w prognozie. Jednak w wielowarstwowych perceptronach funkcja aktywacji sigmoidalnej jest używana do zwracania prawdopodobieństwa, a nie sygnału włączenia i wyłączenia w przeciwieństwie do regresji logistycznej i perceptronu jednowarstwowego. $\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$ $\operatorname{sign}(\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)})$

Myślę, że użycie terminu „Perceptron” może być nieco niejednoznaczne, dlatego przedstawię nieco tła w oparciu o moje obecne rozumienie perceptronów jednowarstwowych:

Klasyczna reguła perceptronowa

Po pierwsze, klasyczny perceptron F. Rosenblatta, w którym mamy funkcję krokową:

Δ w_{re} = η (y_{ja} - \hat{y_{ja}}) x_{ja re} y_{ja}, \hat{y_{ja}} \in {- 1, 1}

$\Delta w_d = \eta(y_{i} - \hat{y_i})x_{id} \quad\quad y_{i}, \hat{y_i} \in \{-1,1\}$

zaktualizować wagi

w_{k} : = w_{k} + Δ w_{k} (k \in {1, . . ., re})

$w_k := w_k + \Delta w_k \quad \quad (k \in \{1, ..., d\})$

Więc $\hat{y}$ jest obliczany jako

\hat{y} = znak (w^{T.} x_{ja}) = znak (w_{0} + w_{1} x_{ja 1} + . . . + w_{re} x_{ja re})

$\hat{y} = \operatorname{sign}(\mathbf{w}^T\mathbf{x}_i) = \operatorname{sign}(w_0 + w_1x_{i1} + ... + w_dx_{id})$

Spadek gradientu

Korzystając z opadania gradientu, optymalizujemy (minimalizujemy) funkcję kosztów

jot (w) = \sum_{ja} \frac{1}{2)} (y_{ja} - \hat{y_{ja}})^{2)} y_{ja}, \hat{y_{ja}} \in R

$J(\mathbf{w}) = \sum_{i} \frac{1}{2}(y_i - \hat{y_i})^2 \quad \quad y_i,\hat{y_i} \in \mathbb{R}$

gdzie mamy „rzeczywiste” liczby, więc widzę to w zasadzie analogiczne do regresji liniowej z tą różnicą, że nasze wyniki klasyfikacji są progowe.

W tym przypadku robimy krok w kierunku ujemnego gradientu, gdy aktualizujemy wagi

Δ w_{k} = - η \frac{\partial jot}{\partial w_{k}} = - η \sum_{ja} (y_{ja} - \hat{y_{ja}}) (- x_{ja k}) = η \sum_{ja} (y_{ja} - \hat{y_{ja}}) x_{ja k}

$\Delta w_k = - \eta \frac{\partial J}{\partial w_k} = - \eta \sum_i (y_i - \hat{y_i})(- x_{ik}) = \eta \sum_i (y_i - \hat{y_i})x_{ik}$

Ale tutaj mamy zamiast $\hat{y} = \mathbf{w}^T\mathbf{x}_i$ $\hat{y} = \operatorname{sign}(\mathbf{w}^T\mathbf{x}_i)$

w_{k} : = w_{k} + Δ w_{k} (k \in {1, . . ., re})

$w_k := w_k + \Delta w_k \quad \quad (k \in \{1, ..., d\})$

Ponadto obliczamy sumę błędów kwadratowych dla pełnego przejścia przez cały zestaw danych treningowych (w trybie uczenia wsadowego) w przeciwieństwie do klasycznej reguły perceptronów, która aktualizuje wagi wraz z nadejściem nowych próbek treningowych (analogicznie do stochastycznego spadku gradientu - online uczenie się).

Funkcja aktywacji sigmoidalnej

Oto moje pytanie:

W wielowarstwowych perceptronach perceptrony są używane z funkcją aktywacji sigmoidalnej. Tak więc w regule aktualizacji jest obliczany jako $\hat{y}$

\hat{y} = \frac{1}{1 + \exp (- w^{T.} x_{ja})}

$\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$

Czym zatem ten „sigmoidalny” Perceptron różni się od regresji logistycznej?

4

Zadziwiające, to pytanie samo w sobie pozwoliło mi zagęścić moje uczenie maszynowe i podstawy sieci neuronowej!

— varun

4

Korzystając z opadania gradientu, optymalizujemy (minimalizujemy) funkcję kosztów

$jot (w) = \sum_{ja} \frac{1}{2)} (y_{ja} - \hat{y_{ja}})^{2)} y_{ja}, \hat{y_{ja}} \in R$ $J(\mathbf{w}) = \sum_{i} \frac{1}{2}(y_i - \hat{y_i})^2 \quad \quad y_i,\hat{y_i} \in \mathbb{R}$

Jeśli zminimalizujesz średni błąd kwadratu, różni się on od regresji logistycznej. Regresja logistyczna jest zwykle związana z utratą entropii krzyżowej, oto strona wprowadzająca z biblioteki scikit-learn .

(Zakładam, że perceptrony wielowarstwowe to to samo, co nazywane sieciami neuronowymi).

Jeśli zastosowałeś utratę entropii krzyżowej (z regularyzacją) dla jednowarstwowej sieci neuronowej, to będzie to ten sam model (model log-liniowy) co regresja logistyczna. Jeśli zamiast tego używasz sieci wielowarstwowej, można ją traktować jako regresję logistyczną z parametrycznymi nieliniowymi funkcjami podstawowymi.

Jednak w wielowarstwowych perceptronach funkcja aktywacji sigmoidalnej jest używana do zwracania prawdopodobieństwa, a nie sygnału włączenia i wyłączenia w przeciwieństwie do regresji logistycznej i perceptronu jednowarstwowego.

Wynik zarówno regresji logistycznej, jak i sieci neuronowych z funkcją aktywacji sigmoidalnej można interpretować jako prawdopodobieństwa. Ponieważ utrata entropii krzyżowej jest w rzeczywistości prawdopodobieństwem ujemnej logi zdefiniowanym przez rozkład Bernoulliego.

— dontloo
źródło

2

Ponieważ opadanie gradientu aktualizuje każdy parametr w taki sposób, że zmniejsza błąd wyjściowy, który musi być kontynuacją funkcji wszystkich parametrów. Aktywacji opartej na progu nie można rozróżnić, dlatego stosuje się aktywację sigmoidalną lub tanh.

Oto jednowarstwowy NN

$\frac{dJ(w,b)}{d\omega_{kj}} =\frac{dJ(w,b)}{dz_k}\cdot \frac{dz_k}{d\omega_{kj}}$

$\frac{dJ(w,b)}{dz_k} = (a_k -y_k)(a_k(1-a_k))$

$\frac{dz_k}{d\omega_{kj}} = x_k$

$J(w,b) = \frac{1}{2} (y_k - a_k)^2$

$a_k = sigm(z_k) = sigm(W_{kj}*x_k + b_k)$

jeśli funkcja aktywacyjna byłaby podstawową funkcją krokową (progową), pochodna wrt byłaby . $J$ $z_k$

tutaj jest link, który to ogólnie wyjaśnia.

Edycja: Może źle zrozumiałem, co masz na myśli przez perceptron. Jeśli się nie mylę, perceptron jest ważoną sumą danych wejściowych. Jeśli zmienisz progowość za pomocą funkcji logistycznej, zmieni się ona w regresję logistyczną. Wielowarstwowe NN z sigmoidalnymi (logistycznymi) funkcjami aktywacyjnymi to kaskadowe warstwy złożone z regresji logistycznych.

— yasin.yazici
źródło

3

To nie odpowiada na pytanie.

— Neil G

Dzięki za napisanie tego miłego komentarza, ale nie o to prosiłem. Moje pytanie nie brzmiało „dlaczego opadanie gradientu”, ale „co sprawia, że perceptron z funkcją aktywacji sigmoidalnej różni się od regresji logistycznej”

y = W^{T} X

$y = W^T X$

1

y = w_{j}^{T} x_{j i}

$y = w_j^Tx_{ji}$

η (y - s i g n (w^{T} x_{i})) x

$\eta (y - sign(w^Tx_i))x$

η (y - w^{T} x_{i}) x_{i}

$\eta (y - w^Tx_i)x_i$

2

Intuicyjnie myślę o perceptronie wielowarstwowym jako o obliczaniu nieliniowej transformacji na moich cechach wejściowych, a następnie zasilaniu tych transformowanych zmiennych w regresję logistyczną.

$\beta_i X$ $i$ $\frac{\beta_i X}{\sum_j \beta_j X}$

Nie wiem o tobie, ale na moich kursach modelarskich i badaniach próbowałem wszelkiego rodzaju rozsądnych i głupich transformacji cech wejściowych, aby poprawić ich znaczenie i ogólne przewidywanie modelu. Wyrównywanie rzeczy, przyjmowanie kłód, łączenie dwóch w jedną stawkę itp. Nie miałem wstydu, ale miałem ograniczoną cierpliwość.

$X$ $\beta_i$

— Dan Van Boxel
źródło