Jak wdrożyć regularyzację L2 do dowolnego punktu w kosmosie?

11

Oto coś, co przeczytałem w książce Iana Goodfellow'a Deep Learning .

W kontekście sieci neuronowych „kara za normę parametru L2 jest powszechnie znana jako zanik masy. Ta strategia regularyzacji przybliża wagi do źródła [...]. Mówiąc bardziej ogólnie, moglibyśmy uregulować parametry tak, aby znajdowały się w pobliżu dowolnego określonego punktu w kosmosie ”, ale znacznie częściej reguluje się parametry modelu w kierunku zera. (Deep Learning, Goodfellow i in.)

Jestem po prostu ciekawy. Rozumiem, że po prostu dodając termin regulujący do naszej funkcji kosztu, i minimalizując ten całkowity koszt , możemy wpłynąć na parametry modelu, aby pozostały małe: $J$

J (Θ, X, y) = L (Θ, X, y) + λ | | w | |_{2}^{2}

$J(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) = L(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) + \lambda||\boldsymbol{w}||_{2}^{2}$

Ale w jaki sposób wdrożyć wersję tej strategii regularyzacji, która doprowadziłaby parametry do dowolnego arbitralnego punktu? (powiedzmy, że chcemy, aby norma dążyła do 5)

— Ulepek
źródło

14

Zadajesz dwa różne pytania.

Posiadanie normy ma tendencję do 5, co oznacza, że chcesz, aby ciężary znajdowały się w pobliżu powierzchni hipersfery wyśrodkowanej na początku o promieniu 5. Ta normalizacja wygląda mniej więcej

J (Θ, X, y) = L (Θ, X, y) + λ (| | w | |_{2}^{2} - 5)^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda (||w||_2^2-5)^2$

Ale zamiast tego możesz użyć czegoś takiego jak $\lambda \cdot\text{abs}(||w||_2^2-5)$ , jak sądzę.

Z drugiej strony, jeśli chcesz dążyć do dowolnego punktu, wystarczy użyć tego punktu jako środka $c$ .

J (Θ, X, y) = L (Θ, X, y) + λ | | w - c | |_{2}^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda ||w-c||_2^2$

— Sycorax mówi Przywróć Monikę
źródło

(+1) Myślę, że owocnym sposobem myślenia o „normie zmierzającej do pięciu” może być wybór parametru strojenia w wersji podanej przez OP (zamiast zmiany funkcji)

J

$J$

— user795305

(Napisałem krótką odpowiedź, aby wyjaśnić, co mam na myśli powyżej.

— Nawiasem

wspólnym (praktycznym) celem przy tym jest regularyzacja w kierunku znanego punktu operacyjnego, np. poprzedniego modelu, który chcesz zastąpić, ale dla którego chciałbyś „płynnego” przejścia

— oDDsKooL

6

ZdefiniujWiemy, że , ze względu na karę mającą źródło jako minimalizator.

{\hat{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ ‖ w ‖_{2}^{2} .

$\hat w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \|w\|_2^2.$

lim_{λ \to \infty} {\hat{w}}_{λ} = 0

$\lim_{\lambda \to \infty} \hat w_\lambda = 0$

w \mapsto ‖ w ‖_{2}^{2}

$w \mapsto \|w\|_2^2$

Sycorax zwraca uwagę, że podobnieTo udane uogólnienie może nas skłonić do zaproponowania estymatora gdzie jest funkcją którego minimalizator spełnia niektóre właściwości, których szukamy. Rzeczywiście, Sycorax przyjmuje , gdzie jest (wyjątkowo) minimalizowane u źródła, a w szczególności . Dlatego , zgodnie z życzeniem. Niestety oba wybory $\lim_{\lambda \to \infty} \left\{ \arg\min_w L(\Theta, X, y) + \lambda \|w-c\|_2^2 \right\} = c.$

{\tilde{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ p e n (w),

$\tilde w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \mathrm{pen}(w),$

p e n

$\mathrm{pen}$

p e n (w) = g (‖ w ‖_{2}^{2} - 5)

$\mathrm{pen}(w) = g(\|w\|_2^2 - 5)$

g

$g$

g \in {| \cdot |, (\cdot)^{2}}

$g \in \{|\cdot|, \, (\cdot)^2\}$

lim_{λ \to \infty} ‖ {\tilde{w}}_{λ} ‖_{2}^{2} = 5

$\lim_{\lambda \to \infty} \|\tilde w_\lambda \|_2^2 = 5$

g

$g$ prowadzić do kar, które nie są wypukłe, co powoduje, że estymator jest trudny do obliczenia.

Powyższa analiza wydaje się być najlepszym rozwiązaniem (być może do wyboru , dla którego nie mam lepszego, który mógłby zasugerować), jeśli nalegamy, aby była jedyną w swoim rodzaju interpretacją „tendencji” opisaną w pytanie. Jednak przy założeniu, że , istnieje trochę dzięki czemu minimizer z problemów problemowych OP . Dlatego bez potrzeby zmiany funkcji celu. Jeśli nie istnieje taki , oznacza to problem z przetwarzaniem $g$ $\lambda \to \infty$ $\|\arg\min_w L(\Theta, X, y) \|_2^2 \geq 5$ $\Lambda$ $\hat w_\Lambda$ $\|\hat w_\Lambda\|_2^2 = 5$

lim_{λ \to Λ} {‖ {\hat{w}}_{λ} ‖}_{2}^{2} = 5,

$\lim_{\lambda \to \Lambda} \left\| \hat w_\lambda \right\|_2^2 = 5,$

Λ

$\Lambda$

\arg min_{w : ‖ w ‖_{2}^{2} = 5} L (Θ, X, y)

$\arg\min_{w : \|w\|_2^2 = 5} L(\Theta, X, y)$ jest z natury trudne. Rzeczywiście, nie trzeba brać pod uwagę żadnego estymatora oprócz , próbując zachęcić do naturalnych właściwości .

{\hat{w}}_{λ}

$\hat w_\lambda$

‖ {\hat{w}}_{λ} ‖_{2}^{2}

$\|\hat w_\lambda\|_2^2$

(Egzekwowanie, że ukarany estymator osiąga wartość kary, której nie osiąga niezaangażowany estymator, wydaje mi się bardzo nienaturalny. Jeśli ktoś wie o miejscach, w których jest to faktycznie pożądane, proszę o komentarz!)

— użytkownik795305
źródło

1

To doskonały dodatek. +1

— Sycorax mówi Przywróć Monikę

2

Dla odpowiedniego możliwe jest postrzeganie go jako ujemnego prawdopodobieństwa logarytmicznego, a odpowiednią regularyzację można postrzegać jako ujemny prawdopodobieństwo logarytmiczne dla wcześniejszej dystrybucji. To podejście nazywa się Maximum A Posteriori (MAP). $L$ $J$

Przykłady Sycorax powinny być łatwe w świetle MAP.

Aby uzyskać szczegółowe informacje na temat MAP, możesz przejrzeć te notatki . Z mojego doświadczenia wynika, że googling „maksymalna regularyzacja a posteriori” daje dobre wyniki.

— Jakub Bartczuk
źródło