Czy algorytm EM konsekwentnie szacuje parametry w modelu mieszanki Gaussa?

Studiuję model mieszanki Gaussa i sam wymyślam to pytanie.

Załóżmy, że podstawowe dane są generowane z mieszaniny rozkładu Gaussa, a każdy z nich ma średni wektor , gdzie a każdy z nich ma takie same współ- macierz wariancji i załóżmy, że jest macierzą diagonalną. Przyjmijmy, że stosunek zmieszania wynosi , tj. Każdy klaster ma taką samą wagę. $K$ $\mu_k\in\mathbb{R}^p$ $1\leq k\leq K$ $\Sigma$ $\Sigma$ $1/K$

Tak więc w tym idealnym przykładzie jedynym zadaniem jest oszacowanie wektorów średnich , gdzie i macierz współwariancji . $K$ $\mu_k\in\mathbb{R}^p$ $1\leq k\leq K$ $\Sigma$

Moje pytanie brzmi: jeśli użyjemy algorytmu EM, czy będziemy w stanie konsekwentnie oszacować i , tj. Kiedy wielkość próbki , estymator wytworzony przez algorytm EM osiągnie prawdziwą wartość i ? $\mu_k$ $\Sigma$ $n\rightarrow\infty$ $\mu_k$ $\Sigma$

— KevinKim
źródło

Jeśli algorytm jest inicjowany za pomocą losowych wartości za każdym razem, to nie, konwergencja niekoniecznie będzie spójna. Nieprzypadkowa inicjalizacja prawdopodobnie przyniesie ten sam wynik za każdym razem, ale nie sądzę, że to wymagałoby uzyskania „poprawnych” wartości . $\mu_k$

Nawiasem mówiąc, ustawiając proporcje mieszania na i ustawiając na ukośne, algorytm staje się bardzo podobny do algorytmu średnich. Ma to również niespójną zbieżność, w zależności od losowej inicjalizacji. $1/K$ $\Sigma$ $k$

— dcorney
źródło

Eksperymentowałem numerycznie, przynajmniej dla 2 niezależnych klas rozkładu normalnego, EM wytwarza spójny estymator średniej klasy. Jednak K oznacza, że nie może tego zrobić, udowodniłem to matematycznie

— KevinKim,

Czy możesz podać więcej szczegółów? Np. Jakich danych

— używałeś

Zgadzam się z @dcorney. To zależy od początkowych wartości, które wybierzesz. Przynajmniej w praktyce zły wybór wartości początkowych prowadzi do niespójnego oszacowania (używam pakietu mixtools R)

— niemiecki Demidov