Wyprowadzając gradient jednowarstwowej sieci neuronowej z jej danych wejściowych, jaki jest operator reguły łańcucha?

Rzecz w tym:

Oblicz gradient w odniesieniu do warstwy wejściowej dla sieci neuronowej z jedną ukrytą warstwą, używając sigmoid dla wejścia -> ukryty, softmax dla ukrytego -> wyjścia, z utratą entropii krzyżowej.

Mogę przejść przez większość pochodnych za pomocą reguły łańcucha, ale nie jestem pewien, jak właściwie „połączyć” je razem.

Zdefiniuj niektóre notacje

$r = xW_1+b_1$

$h = \sigma\left( r \right)$ , $\sigma$ jest funkcją sigmoidalną

$\theta = hW_2+b_2$ ,

$\hat{y} = S \left( \theta \right)$ , $S$ jest funkcją softmax

$J\left(\hat{y}\right) = \sum_i y \log\hat{y}_i$ , $y$ to prawdziwa etykieta jeden gorący wektor

Następnie regułą łańcucha

\frac{\partial J}{\partial x} = \frac{\partial J}{\partial θ} \cdot \frac{\partial θ}{\partial h} \cdot \frac{\partial h}{\partial r} \cdot \frac{\partial r}{\partial x}

$\frac{\partial J}{\partial \boldsymbol{x}} = \frac{\partial J}{\partial \boldsymbol{\theta}} \cdot \frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} \cdot \frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} \cdot \frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}}$

Poszczególne gradienty to:

\frac{\partial J}{\partial θ} = (\hat{y} - y)

$\frac{\partial J}{\partial \boldsymbol{\theta}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right)$

\frac{\partial θ}{\partial h} = \frac{\partial}{\partial h} [h W_{2} + b_{2}] = W_{2}^{T}

$\frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} = \frac{\partial}{\partial \boldsymbol{h}} \left[ \boldsymbol{h}W_2 + \boldsymbol{b_2}\right] = W_2^T$

\frac{\partial h}{\partial r} = h \cdot (1 - h)

$\frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} = h \cdot \left(1-h\right)$

\frac{\partial r}{\partial x} = \frac{\partial}{\partial x} [x W_{1} + b_{1}] = W_{1}^{T}

$\frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}} = \frac{\partial}{\partial \boldsymbol{x}} \left[ \boldsymbol{x}W_1 + \boldsymbol{b_1}\right] = W_1^T$

Teraz musimy połączyć definicje razem. W pojedynczej zmiennej jest to łatwe, po prostu mnożymy wszystko razem. W wektorach nie jestem pewien, czy użyć mnożenia elementarnego czy mnożenia macierzy.

\frac{\partial J}{\partial x} = (\hat{y} - y) * W_{2}^{T} \cdot [h \cdot (1 - h)] * W_{1}^{T}

$\frac{\partial J}{\partial \boldsymbol{x}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right) * W_2^T \cdot \left[\boldsymbol{h} \cdot \left(1-\boldsymbol{h}\right)\right] * W_1^T$

Gdzie to elementowe mnożenie wektorów, a to mnożenie macierzy. Ta kombinacja operacji jest jedynym sposobem, w jaki wydaje mi się, że mogę połączyć je razem, aby uzyskać wektor wymiaru , o czym wiem, że . $\cdot$ $*$ $1 \cdot D_x$ $\frac{\partial J}{\partial \boldsymbol{x}}$

Moje pytanie brzmi: w jaki sposób mogę dowiedzieć się, którego operatora użyć? Jestem szczególnie zdezorientowany potrzebą elementu między i . $W_2^T$ $h$

Dzięki!

neural-networks gradient

— amatsukawa
źródło

Zdaję sobie sprawę, że znalezienie gradientu wrt do danych wejściowych nie jest często wykonywane. Wierzę, że jest to wstęp do obliczeń osadzania słów, w których można zoptymalizować wektory słów „wejściowych”.

— amatsukawa

how didi dervie dJ / dTheta

— raaj,

Odpowiedzi:

Uważam, że kluczem do odpowiedzi na to pytanie jest zwrócenie uwagi na to, że mnożenie elementarne jest w rzeczywistości krótsze, a zatem, kiedy wyprowadzasz równania, nigdy go nie używasz.

Rzeczywiste działanie nie jest mnożenie elementów mądry lecz standardowym mnożenie macierzy gradientu z jakobian , zawsze .

W przypadku nieliniowości, jakobian wyjściowego wektora nieliniowości w odniesieniu do wejściowego wektora nieliniowości okazuje się być macierzą diagonalną. Prawdą jest zatem, że gradient pomnożony przez tę macierz jest równoważny gradientowi wyjściowego nieliniowości w odniesieniu do elementu straty pomnożonego przez wektor zawierający wszystkie częściowe pochodne nieliniowości w odniesieniu do danych wejściowych nieliniowości, ale wynika to z przekątnej jakobianów. Musisz przejść przez etap jakobowski, aby dojść do mnożenia elementarnego, co może wyjaśnić twoje zamieszanie.

W matematyce, że jedne nieliniowości , strata i wejścia do nieliniowości (może to być dowolny napinacz). Wyjście nieliniowości ma ten sam wymiar --- jak mówi @Logan, funkcja aktywacji jest zdefiniowana jako element. $s$ $L$ $x \in \mathbb{R}^{n \times 1}$ $s(x) \in \mathbb{R}^{n \times 1}$

Chcemy

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L

$\nabla_{x}L=\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L$

Gdzie jest jakobianem . Rozszerzając ten jakobski, otrzymujemy $\dfrac{\partial s(x)}{\partial x}$ $s$

[\begin{matrix} \frac{\partial s (x_{1})}{\partial x_{1}} & \dots & \frac{\partial s (x_{1})}{\partial x_{n}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial s (x_{n})}{x_{1}} & \dots & \frac{\partial s (x_{n})}{\partial x_{n}} \end{matrix}]

$\begin{bmatrix} \dfrac{\partial{s(x_{1})}}{\partial{x_1}} & \dots & \dfrac{\partial{s(x_{1})}}{\partial{x_{n}}} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial{s(x_{n})}}{x_{1}} & \dots & \dfrac{\partial{s(x_{n})}}{\partial{x_{n}}} \end{bmatrix}$

Widzimy, że wszędzie jest zero, z wyjątkiem przekątnej. Możemy wykonać wektor wszystkich jego elementów ukośnych

D i a g (\frac{\partial s (x)}{\partial x})

$Diag\left(\dfrac{\partial s(x)}{\partial x}\right)$

A następnie użyj operatora opartego na elementach.

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L = D i a g (\frac{\partial s (x)}{\partial x}) \circ \nabla_{s (x)} L

$\nabla_{x}L =\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L =Diag\left(\dfrac{\partial s(x)}{\partial x}\right) \circ \nabla_{s(x)}L$

— użytkownik0
źródło

Ilekroć jest to odwrotnie proporcjonalne do funkcji aktywacji, operacje stają się elementarne. W szczególności na twoim przykładzie jest pochodną propagacji wstecznej, a jest pochodną aktywacji, a jej produkt jest produktem elementarnym, . Jest tak, ponieważ funkcje aktywacyjne są zdefiniowane jako operacje elementowe w sieci neuronowej. $\delta_2 =(\hat{y}-y)W_2^T$ $a' = h \circ (1 -h)$ $\delta_2 \circ a'$

Zobacz slajdy wykładowe cs224d strona 30, może to również pomóc.

— Logan
źródło