Wyjaśnienie maksymalizacji oczekiwań

Znalazłem bardzo pomocny samouczek dotyczący algorytmu EM .

Przykład i zdjęcie z samouczka jest po prostu genialne.

Powiązane pytanie dotyczące obliczania prawdopodobieństwa, jak działa maksymalizacja oczekiwań?

Mam inne pytanie dotyczące połączenia teorii opisanej w samouczku z przykładem.

Podczas kroku E, EM wybiera funkcję która ogranicza i dla której .$g_t$$\log P(x;\Theta)$$g_t( \hat{\Theta}^{(t)}) = \log P(x; \hat{\Theta}^{(t)})$

Więc jaka jest wartość w naszym przykładzie i wygląda na to, że powinna być inna dla każdej iteracji.$g_t$

Ponadto w przykładzie i a następnie stosując je do danych, otrzymujemy i . Co dla mnie wygląda sprzecznie z intuicją. Mieliśmy pewne wcześniejsze założenia, zastosowaliśmy je do danych i uzyskaliśmy nowe założenia, więc dane w jakiś sposób zmieniły założenia. Nie rozumiem, dlaczego nie równa się .$\hat{\Theta}_A^{(0)} = 0.6$$\hat{\Theta}_B^{(0)} = 0.5$$\hat{\Theta}_A^{(1)} = 0.71$$\hat{\Theta}_B^{(1)} = 0.58$$\hat{\Theta}^{(0)}$$\hat{\Theta}^{(1)}$

Ponadto pojawia się więcej pytań, gdy zobaczysz uwagę dodatkową 1 do tego samouczka. Na przykład czym jest w naszym przypadku. Nie jest dla mnie jasne, dlaczego nierówność jest niewielka, gdyQ ( z ) = P ( z | x ; Θ $Q(z)$$Q(z)=P(z|x;\Theta)$

Dziękuję Ci.

Uważam te notatki za bardzo pomocne w ustaleniu, co się dzieje w materiale uzupełniającym.

Odpowiem na te pytania trochę nie w porządku, aby zapewnić ciągłość.

---

Po pierwsze: dlaczego tak jest

$\theta^{(0)} \ne \theta^{(1)}$

Powodem jest to, że nasza funkcja jest wybrana w taki sposób, że jest gwarantowana, że ​​jest mniejsza lub równa , przy czym 2 jest incydentem w punkcie naszego początkowego zgadywania . Gdyby nasze wcześniejsze założenia były idealnymi początkowymi przypuszczeniami, to miałbyś rację i pozostałby niezmieniony. Ale możemy znaleźć wyższe wartości w utworzonej funkcji , więc nasza następna iteracja parametru dla jest bardziej prawdopodobna niż nasza pierwotna.$g_0$$\log(P(x;\theta))$$\theta^{(0)}$$\theta^{(1)}$$g_0$$\theta$

---

Po drugie: dlaczego nierówność jest niska, kiedy

$$Q(z) = P(z|x;\theta)$$

W przypisach znajduje się wskazówka, w której napisano:

równość obowiązuje wtedy i tylko wtedy, gdy zmienna losowa jest stała z prawdopodobieństwem 1 (tj. )$y=E[y]$

sugerując, że nasz wybór powoduje, że stały. Aby to zobaczyć, weź pod uwagę, że:$Q$$\frac{P(x, z; \theta)}{Q(z)}$

$$P(x, z ; \theta) = P(z | x; \theta) P(x; \theta)$$

co stanowi naszą frakcję

$$\frac{P(z | x; \theta) P(x; \theta)}{P(z|x;\theta)} = P(x; \theta)$$

Czym jest i czy jest stałe? Weźmy pod uwagę, że obliczamy sumy powyżej dla których ten termin jest niezależny (stały). Przedstawmy to jako i to równanie stanie się:$P(x; \theta)$$z$$C$

$$\log{\big( \sum_z{Q(z)C} \big)} \ge \sum_z{Q(z)\log(C)}$$

z tego miejsca dość szybko możemy zobaczyć, że 2 strony są równe, ponieważ oczekiwanie stałej będzie takie bez względu na wagi ( )$Q(z)$

---

Wreszcie: co to jest$g_t$

Odpowiedź podana w notatkach, które podłączyłem, różni się nieco od odpowiedzi w uwagach uzupełniających, ale różnią się one tylko stałą, a my ją maksymalizujemy, więc nie ma to znaczenia. Ten w notatkach (z pochodnymi) to:

$$g_t(\theta) = \log(P(x|\theta^{(t)})) + \sum_z{P(z|x;\theta^{(t)})\log{\big( \frac{P(x|z;\theta)P(z|\theta)}{P(z|x;\theta^{(t)})P(x|\theta^{(t)})} \big)}}$$

Ta złożona formuła nie jest szczegółowo omawiana w uwagach uzupełniających, prawdopodobnie dlatego, że wiele z tych terminów będzie stałymi, które zostaną wyrzucone, gdy zmaksymalizujemy. Jeśli jesteś zainteresowany tym, w jaki sposób tu docieramy, polecam te notatki, które podłączyłem.

Korzystając z argumentu podobnego do przedstawionego w odpowiedzi na drugie pytanie, wartość w dzienniku jest równa 1 dla więc suma znika i zgodnie z oczekiwaniami.g t ( θ ( t ) ) = log P ( x | θ ( t )$g_t(\theta^{(t)})$$g_t(\theta^{(t)}) = \log P(x|\theta^{(t)})$