Dlaczego stosuje się algorytm maksymalizacji oczekiwań?

Z tego, co niewiele wiem, algorytm EM można wykorzystać do znalezienia maksymalnego prawdopodobieństwa przy zerowaniu pochodnych cząstkowych w odniesieniu do parametrów prawdopodobieństwa daje zestaw równań, których nie można rozwiązać analitycznie. Ale czy algorytm EM jest potrzebny zamiast jakiejś techniki numerycznej, aby znaleźć maksimum prawdopodobieństwa w odniesieniu do ograniczenia zbioru wspomnianych równań.

Pytanie jest uzasadnione i miałem takie samo zamieszanie, kiedy po raz pierwszy nauczyłem się algorytmu EM.

Ogólnie rzecz biorąc, algorytm EM definiuje proces iteracyjny, który pozwala zmaksymalizować funkcję prawdopodobieństwa modelu parametrycznego w przypadku, gdy niektóre zmienne modelu są (lub są traktowane jako) „utajone” lub nieznane.

Teoretycznie w tym samym celu można użyć algorytmu minimalizacji do numerycznego znalezienia maksimum funkcji wiarygodności dla wszystkich parametrów. Jednak w rzeczywistej sytuacji minimalizacja ta byłaby:

1. znacznie bardziej wymagające obliczeniowo
2. mniej solidny

Bardzo powszechnym zastosowaniem metody EM jest dopasowanie modelu mieszanki. W tym przypadku, biorąc pod uwagę zmienną, która przypisuje każdą próbkę do jednego ze składników jako zmienne „utajone”, problem jest znacznie uproszczony.

Spójrzmy na przykład. Mamy N próbek wyekstrahowanych z mieszaniny 2 rozkładów normalnych. Aby znaleźć parametry bez EM, powinniśmy zminimalizować:$s = \{s_i\}$

$$-\log \mathcal{L}(x,\theta) = -\log\Big[ a_1 \exp\Big( \frac{(x-\mu_1)^2}{2\sigma_1^2}\Big) + a_2 \exp\Big(\frac{(x-\mu_2)^2}{2\sigma_2^2}\Big) \Big]$$

Przeciwnie, stosując algorytm EM, najpierw „przypisujemy” każdą próbkę do komponentu ( krok E ), a następnie dopasowujemy (lub maksymalizujemy prawdopodobieństwo ) każdego komponentu osobno ( krok M ). W tym przykładzie krok M jest po prostu średnią ważoną do znalezienia i σ k . Iteracja po tych dwóch krokach jest prostszym i bardziej niezawodnym sposobem na zminimalizowanie - log L ( x , θ ) .$\mu_k$$\sigma_k$$-\log \mathcal{L}(x,\theta)$

EM nie jest potrzebne zamiast korzystania z jakiejś techniki numerycznej, ponieważ EM jest również metodą numeryczną. Nie zastępuje więc Newtona-Raphsona. EM ma zastosowanie w konkretnym przypadku, gdy brakuje wartości w macierzy danych. Należy rozważyć przykładowy , który ma gęstość warunkowego f X | Θ ( x | θ ) . Zatem logarytmiczne prawdopodobieństwo tego wynosi l ( θ ; X ) = l o g f X | $X = (X_{1},...,X_{n})$$f_{X|\Theta}(x|\theta)$ Załóżmy teraz, że nie masz pełnego zestawu danych takiego, że X składa się z obserwowanych danych Y i brakujących (lub ukrytych) zmiennych Z , takich, że X = ( Y , Z ) . Zatem logarytmiczne prawdopodobieństwo dla obserwowanych danych wynosi l o b s ( θ , Y ) = l o g ∫ f X | Θ ( Y , z | θ ) ν z

$$l(\theta;X) = log f_{X|\Theta}(X|\theta)$$ $X$$Y$$Z$$X=(Y,Z)$ Na ogół nie można obliczyć To zintegrowane bezpośrednio i nie będzie rozwiązanie zamkniętej formy za l o b s ( θ , Y ) . W tym celu używasz metody EM. Istnieją dwa kroki, które są iterowane dlaczasów i . W tym ( ı + 1 ) T h kroku to etap oczekiwania, w którym obliczenia Q ( θ | θ ( I ) ) = E θ ( I ) [ l ( $$l_{obs}(\theta,Y)=log \int f_{X|\Theta}(Y,z|\theta)\nu_{z}(dz)$$ $l_{obs}(\theta,Y)$$i$$(i + 1)^{th}$ gdzie θ ( i ) jest oszacowaniem Θ na etapie i t h . Następnie oblicz krok maksymalizacji, w którym maksymalizujesz Q ( θ | θ ( i ) ) w odniesieniu do θ i ustawiasz θ ( i + 1 ) = m a x Q ( θ | θ i $$Q(\theta|\theta^{(i)}) = E_{\theta^{(i)}}[l(\theta;X|Y]$$ $\theta^{(i)}$$\Theta$$i^{th}$$Q(\theta|\theta^{(i)})$$\theta$$\theta^{(i+1)} = max Q(\theta|\theta^{i})$. Następnie powtarzaj te kroki, aż metoda zbiega się do pewnej wartości, która będzie Twoim oszacowaniem.

Jeśli potrzebujesz więcej informacji na temat metody, jej właściwości, dowodów lub aplikacji, po prostu zajrzyj do odpowiedniego artykułu na Wiki .

EM jest stosowany, ponieważ często niemożliwe lub niemożliwe jest bezpośrednie obliczenie parametrów modelu, który maksymalizuje prawdopodobieństwo zbioru danych przy danym modelu.