Według „Efficient Backprop” LeCun i wsp. (1998) dobrą praktyką jest znormalizowanie wszystkich danych wejściowych, tak aby były one wyśrodkowane wokół 0 i mieściły się w zakresie maksymalnej drugiej pochodnej. Na przykład użylibyśmy [-0,5,0,5] dla funkcji „Tanh”. Ma to pomóc w postępie wstecznej propagacji, gdy Hesjan staje się bardziej stabilny.

Nie byłem jednak pewien, co zrobić z neuronami prostownika, które są maksymalne (0, x). (Również z funkcją logistyczną od tego czasu chcielibyśmy czegoś w rodzaju [0,1, 0,9], jednak nie jest to wyśrodkowane wokół 0)

Zgodnie z moją najlepszą wiedzą, najbliższy element, który może być tym, czego możesz potrzebować, to ten najnowszy artykuł badaczy Google: Normalizacja partii: przyspieszenie głębokiego szkolenia w sieci poprzez ograniczenie wewnętrznej zmiany współzmiennej .

Normalizacja partii

Rozważmy wynik aktywacji warstwy gdzie jest nieliniowością (ReLU, tanh itp.), są odpowiednio wagami i odchyłkami, a jest minibatchem danych.$l$$y_l = f(Wx+b)$$f$$W,b$$x$

Normalizacja partii (BN) jest następująca:

1. Standaryzuj aby uzyskać średnią zero i wariancję jeden. Robimy to przez całą minibatch. Niech oznacza znormalizowane pośrednie wartości aktywacyjne, tj. jest znormalizowaną wersją .$Wx+b$$\hat{x}$$\hat{x}$$Wx+b$
2. Zastosuj sparametryzowaną (uczącą się) transformację afiniczną$\hat{x} \rightarrow \gamma \hat{x} + \beta.$
3. Zastosuj nieliniowość: .$\hat{y}_l = f(\gamma \hat{x} + \beta)$

Tak więc BN standaryzuje wyjścia aktywacyjne „surowe” (czytaj: zanim zastosujemy nieliniowość), aby miały średnie zero, wariancję 1, a następnie zastosujemy wyuczoną transformację afiniczną, a następnie ostatecznie zastosujemy nieliniowość. W pewnym sensie możemy to interpretować jako umożliwienie sieci neuronowej nauczenie się odpowiedniego sparametryzowanego rozkładu wejściowego do nieliniowości.

Ponieważ każda operacja jest różna, możemy nauczyć się parametrów poprzez propagację wsteczną.$\gamma, \beta$

Motywacja transformacji afinicznej

Gdybyśmy nie przeprowadzili sparametryzowanej transformacji afinicznej, każda nieliniowość miałaby jako rozkład wejściowy średnie zero i wariancję 1. To może, ale nie musi być optymalne. Należy zauważyć, że jeśli średni rozkład wejściowy wariancji 1 jest optymalny, to transformacja afiniczna może teoretycznie go odzyskać, ustawiając równe średniej serii i równe standardowemu odchyleniu partii. Posiadanie tej sparametryzowanej transformacji afinicznej ma również dodatkową zaletę polegającą na zwiększeniu zdolności reprezentacyjnej sieci (więcej możliwych do nauczenia się parametrów).$\beta$$\gamma$

Najpierw standaryzacja

Po co najpierw standaryzować? Dlaczego po prostu nie zastosować afinicznej transformacji? Teoretycznie nie ma różnicy. Jednak może tu występować problem warunkowy. Najpierw ujednolicając wartości aktywacyjne, być może łatwiej będzie nauczyć się parametrów optymalnych . Z mojej strony jest to wyłącznie przypuszczenie, ale w innych najnowszych architekturach konwergentnych istnieją podobne analogi. Na przykład w ostatnim raporcie technicznym Microsoft Research Deep Residual Learning for Image Recognition$\gamma, \beta$, w efekcie nauczyli się transformacji, w której wykorzystali transformację tożsamości jako odniesienie lub punkt odniesienia do porównania. Współautorzy Microsoft wierzyli, że posiadanie tego odniesienia lub linii bazowej pomogło w przygotowaniu tego problemu. Nie wierzę, że zbyt daleko idące jest zastanawianie się, czy coś podobnego dzieje się tutaj z BN i początkowym etapem standaryzacji.

Aplikacje BN

Szczególnie interesujący wynik polega na tym, że dzięki usłudze Batch Normalization zespół Google był w stanie uzyskać tanią sieć Inception do szkolenia w ImageNet i uzyskiwania całkiem konkurencyjnych wyników. Tanh jest nasycającą nieliniowością i trudno było nauczyć się tego rodzaju sieci z powodu problemu nasycenia / zanikania gradientów. Jednak stosując normalizację wsadową można założyć, że sieć była w stanie nauczyć się transformacji, która odwzorowuje wartości wyjściowe aktywacji na nienasycony reżim nieliniowości tanh.

Uwagi końcowe

Odwołują się nawet do tego samego faktoidu Yann LeCun, o którym wspomniałeś jako motywacji do normalizacji partii.