Po co optymalizować maksymalne prawdopodobieństwo dziennika zamiast prawdopodobieństwa

W większości zadań uczenia maszynowego, w których można sformułować pewne prawdopodobieństwo które należy zmaksymalizować, faktycznie zoptymalizowalibyśmy prawdopodobieństwo zamiast prawdopodobieństwa dla niektórych parametrów . Np. W treningu z maksymalnym prawdopodobieństwem jest to zwykle logarytm prawdopodobieństwa. W przypadku tej metody gradientowej wiąże się to z czynnikiem:$p$$\log p$$\theta$

$$\frac{\partial \log p}{\partial \theta} = \frac{1}{p} \cdot \frac{\partial p}{\partial \theta}$$

Zobacz tutaj lub tutaj kilka przykładów.

Oczywiście optymalizacja jest równoważna, ale gradient będzie inny, więc każda metoda oparta na gradientach będzie zachowywać się inaczej (zwłaszcza metody gradientów stochastycznych). Czy jest jakieś uzasadnienie, że gradient działa lepiej niż gradient ?$\log p$$p$

Metody gradientowe zwykle działają lepiej, optymalizując niż ponieważ gradient jest ogólnie lepiej skalowany . Oznacza to, że ma rozmiar, który konsekwentnie i pomocnie odzwierciedla geometrię funkcji celu, co ułatwia wybranie odpowiedniego rozmiaru kroku i osiągnięcie optymalnej w mniejszej liczbie kroków.p ( x ) log p ( x $\log p(x)$$p(x)$$\log p(x)$

Aby sprawdzić, co znaczy, porównaj proces optymalizacji Gradient i . W dowolnym punkcie gradient wynosiJeśli pomnożymy to przez , otrzymamy dokładny rozmiar kroku potrzebny do osiągnięcia globalnego optimum przy początku, bez względu naf ( x ) = log p ( x ) = - x 2$p(x) = \exp(-x^2)$$f(x) = \log p(x) = -x^2$$x$$f(x)$

$$f'(x) = -2x.$$ $1/2$$x$jest. Oznacza to, że nie musimy zbyt ciężko pracować, aby uzyskać dobry rozmiar kroku (lub „szybkość uczenia się” w żargonie ML). Bez względu na to, gdzie jest nasz punkt początkowy, po prostu ustawiliśmy nasz krok na połowę gradientu i będziemy w jednym punkcie na początku. A jeśli nie znamy dokładnego wymaganego współczynnika, możemy po prostu wybrać rozmiar kroku wokół 1, przeprowadzić trochę wyszukiwania linii i szybko znajdziemy duży rozmiar kroku, taki, który działa dobrze bez względu na to, gdzie jest. Ta właściwość jest odporna na translację i skalowanie . Podczas gdy skalowanie spowoduje, że optymalne skalowanie kroków będzie różnić się od 1/2, przynajmniej skalowanie kroków będzie takie samo bez względu na , więc musimy tylko znaleźć jeden parametr, aby uzyskać skuteczną optymalizację opartą na gradiencie schemat.$x$$f(x)$$f(x)$$x$

Natomiast gradient ma bardzo słabe globalne właściwości do optymalizacji. MamyMnoży to idealnie ładny, dobrze zachowujący się gradient przez współczynnik który zanika (szybciej niż) wykładniczo wraz ze wzrostem . Przy mamy już , więc krok wzdłuż wektora gradientu jest około razy za mały. Aby uzyskać rozsądny rozmiar kroku w kierunku optymalnego, musielibyśmy przeskalować gradient przez odwrotność tego, ogromną stałą$p(x)$

$$p'(x) = f'(x) p(x)= -2x \exp(-x^2).$$ $-2x$$\exp(-x^2)$$x$$x = 5$$\exp(-x^2) = 1.4 \cdot 10^{-11}$$10^{-11}$$\sim 10^{11}$. Taki źle wyskalowany gradient jest gorszy niż bezużyteczny dla celów optymalizacji - lepiej byłoby po prostu spróbować wykonać krok jednostkowy w górę, niż ustawić nasz krok skalując względem ! (W wielu zmiennych staje się nieco bardziej użyteczny, ponieważ przynajmniej otrzymujemy informacje kierunkowe z gradientu, ale problem skalowania pozostaje.)$p'(x)$$p'(x)$

Zasadniczo nie ma gwarancji, że będzie miał tak świetne właściwości skalowania gradientu, jak ten przykład zabawki, szczególnie gdy mamy więcej niż jedną zmienną. Jednak w przypadku niemal nietrywialnych problemów będzie znacznie lepszy niż . Wynika to z faktu, że prawdopodobieństwo jest dużym produktem z wieloma warunkami, a dziennik zamienia ten produkt w sumę, jak zauważono w kilku innych odpowiedziach. Pod warunkiem, że terminy z prawdopodobieństwem są dobrze zachowane z punktu widzenia optymalizacji, ich log jest ogólnie dobrze zachowany, a suma dobrze zachowanych funkcji jest dobrze zachowana. Przez dobrze wychowany mam na myśli$\log p(x)$$\log p(x)$$p(x)$$f''(x)$nie zmienia się zbyt szybko ani zbyt szybko, co prowadzi do niemal kwadratowej funkcji, którą można łatwo zoptymalizować metodami gradientowymi. Suma pochodnego jest pochodną sumy, bez względu na kolejność pochodnych, co pomaga zapewnić, że ten duży stos sum sum ma bardzo rozsądną drugą pochodną!

Niedomiar

Komputer używa ograniczonej cyfrowej reprezentacji zmiennoprzecinkowej ułamków, dlatego pomnożenie tak wielu prawdopodobieństw jest gwarantowane bardzo blisko zera.

W przypadku nie mamy tego problemu.$log$

1. Logarytm prawdopodobieństwa wielu wspólnych prawdopodobieństw upraszcza sumę logarytmów poszczególnych prawdopodobieństw (a reguła sumy jest łatwiejsza niż reguła iloczynu dla różnicowania)

   $\log \left(\prod_i P(x_i)\right) = \sum_i \log \left( P(x_i)\right)$

2. Logarytm członka rodziny rozkładów prawdopodobieństwa wykładniczego (który obejmuje wszechobecną normalną) jest wielomianem parametrów (tzn. Maksymalne prawdopodobieństwo zmniejsza się do najmniejszych kwadratów dla rozkładów normalnych)

   $\log\left(\exp\left(-\frac{1}{2}x^2\right)\right) = -\frac{1}{2}x^2$

3. Ta druga forma jest zarówno bardziej stabilna numerycznie, jak i symbolicznie łatwiejsza do odróżnienia od pierwszej.

4. Wreszcie, logarytm jest transformacją monotoniczną, która zachowuje lokalizację ekstremów (w szczególności szacowane parametry o maksymalnym prawdopodobieństwie są identyczne dla formuły oryginalnej i transformowanej logarytmicznie)

O wiele łatwiej jest pobrać pochodną sumy logarytmów niż pochodną produktu, która zawiera, powiedzmy, 100 mnożników.

Zasadniczo najbardziej podstawowym i łatwym problemem optymalizacji jest optymalizacja funkcji kwadratowej. Możesz łatwo znaleźć optymalną funkcję, bez względu na to, od czego zaczynasz. To, jak to się manifestuje, zależy od konkretnej metody, ale im bliżej funkcji kwadratowej, tym lepiej.

Jak zauważono w TemplateRex, przy wielu różnych problemach prawdopodobieństwa, które biorą udział w obliczaniu funkcji prawdopodobieństwa, pochodzą z rozkładu normalnego lub są przez niego przybliżone. Więc jeśli pracujesz na logu, otrzymujesz ładną funkcję kwadratową. Natomiast jeśli pracujesz nad prawdopodobieństwami, masz funkcję, która

1. Nie jest wypukły (zmora algorytmów optymalizacji wszędzie)
2. Szybko przecina wiele skal, a zatem ma bardzo wąski zakres, w którym wartości funkcji wskazują, gdzie należy kierować wyszukiwanie.

Którą funkcję wolisz zoptymalizować, tę czy inną ?

(To było w rzeczywistości łatwe; w praktycznych zastosowaniach wyszukiwanie może rozpocząć się tak daleko od optymalnego, że wartości funkcji i gradienty, nawet jeśli byłyby w stanie je obliczyć numerycznie, będą nie do odróżnienia od 0 i bezużyteczne dla celów optymalizacji algorytm. Ale przekształcenie w funkcję kwadratową sprawia, że ​​jest to bułka z masłem.)

Zauważ, że jest to całkowicie zgodne z już wspomnianymi problemami ze stabilnością liczbową. Powodem, dla którego skala dziennika jest wymagana do pracy z tą funkcją, jest dokładnie ten sam powód, dla którego prawdopodobieństwo dziennika jest znacznie lepiej zachowane (dla optymalizacji i innych celów) niż oryginał.

Możesz również podejść do tego w inny sposób. Nawet jeśli nie ma przewagi w logu (który jest) - i tak użyjemy skali logu do pochodnych i obliczeń, więc jaki jest powód, aby zastosować transformację exp tylko do obliczenia gradientu? Równie dobrze możemy pozostać spójni z logem.

Używając , zwiększamy zakres dynamiczny algorytmu optymalizacji. w zastosowaniach jest zwykle produktem funkcji. Na przykład w oszacowaniu maksymalnego prawdopodobieństwa jest to iloczyn postaci , gdzie Jest funkcją gęstości, którą można większa lub mniejsza niż 1, btw.$\ln p$$p$$L(x|\theta)=\Pi_{i=1}^n f(x_i|\theta)$$f(.)$

Tak więc, gdy jest bardzo duża, tj dużą próbkę, czynność prawdopodobieństwo jest zazwyczaj daleko od 1: to albo bardzo małe lub bardzo duże, ponieważ jest to funkcja zasilania .$n$$L(.)$$L\sim f(.)^n$

Rejestrując dziennik, po prostu poprawiamy zakres dynamiczny dowolnego algorytmu optymalizacyjnego, umożliwiając mu pracę z bardzo dużymi lub małymi wartościami w ten sam sposób.

Podano już kilka fajnych odpowiedzi. Ale ostatnio spotkałem nowy:

Często otrzymujesz olbrzymi zestaw danych treningowych i definiujesz jakiś model probabilistyczny i chcesz zmaksymalizować prawdopodobieństwo . Zakłada się, że są niezależne, tzn. Masz Teraz często ćwiczysz stochastyczne (mini-wsadowe) szkolenie gradientowe, tj. Na każdym etapie, dla swojej straty , optymalizujesz dla , tj. $\mathcal{X}$$p(x|\theta)$$x \in \mathcal{X}$

$$p(\mathcal{X}|\theta) = \prod_{x\in\mathcal{X}} p(x|\theta) .$$ $L$$L(\mathcal{X'}|\theta)$$\mathcal{X'} \subset \mathcal{X}$ $$\theta' := \theta - \frac{\partial \sum_{x\in\mathcal{X'}} L(x|\theta)}{\partial \theta} .$$ Teraz te stochastyczne kroki są kumulowane addytywnie. Z tego powodu chcesz właściwości, która ogólnie Tak jest w przypadku $$L(\mathcal{X}|\theta) = \sum_{x\in\mathcal{X}} L(x|\theta) .$$ $$L(x|\theta) = -\log p(x|\theta) .$$