Optymalna liczba składników w mieszaninie Gaussa

Tak więc uzyskanie „idei” optymalnej liczby klastrów w k-średnich jest dobrze udokumentowane. Znalazłem artykuł o robieniu tego w mieszankach gaussowskich, ale nie jestem pewien, czy mnie to przekonuje, nie rozumiem tego zbyt dobrze. Czy istnieje ... łagodniejszy sposób na zrobienie tego?

— JEquihua
źródło

Czy możesz zacytować ten artykuł lub przynajmniej przedstawić proponowaną przez niego metodologię? Trudno wymyślić „łagodniejszy” sposób na zrobienie tego, jeśli nie znamy linii podstawowej :)

— jbowman

Geoff McLachlan i inni napisali książki o dystrybucji mieszanin. Jestem pewien, że obejmują one podejścia do określania liczby składników w mieszaninie. Prawdopodobnie mógłbyś tam zajrzeć. Zgadzam się z łucznikiem, że złagodzenie zamieszania najlepiej byłoby osiągnąć, gdybyś wskazał nam, o co się mylisz.

— Michael R. Chernick

Szacowanie optymalnej liczby mieszanek gaussowskich na podstawie przyrostowej wartości k dla identyfikacji głośników .... To tytuł, który można pobrać bezpłatnie. Zasadniczo zwiększa liczbę klastrów o 1, dopóki nie zobaczysz, że dwa klastry stają się od siebie zależne, coś w tym rodzaju. Dziękuję Ci!

— JEquihua

Dlaczego po prostu nie wybrać liczby składników, które maksymalizują szacunkową weryfikację prawdopodobieństwa? Jest to drogie obliczeniowo, ale w większości przypadków trudno jest pokonać weryfikację krzyżową przy wyborze modelu, chyba że istnieje wiele parametrów do dostrojenia.

— Dikran Torbacz

Czy potrafisz wyjaśnić nieco, jakie jest oszacowanie prawdopodobieństwa krzyżowej weryfikacji? Nie jestem świadomy tej koncepcji. Dziękuję Ci.

— JEquihua,

Tylko pewne rozszerzenie komentarza Dikran Marsupial (cross-validation). Główną ideą jest podzielenie danych na zestawy szkoleniowe i walidacyjne, wypróbowanie innej liczby komponentów i wybranie najlepszego na podstawie odpowiednich wartości prawdopodobieństwa szkolenia i walidacji.

Prawdopodobieństwo GMM jest słuszne $p(x|\pi,\mu,\Sigma)=\sum_K\pi_kN(x|\mu_k,\Sigma_k)$ z definicji gdzie $K$ to liczba składników (klastrów) i $\pi$ , $\mu$ , $\Sigma$ są parametrami modelu. Zmieniając wartość $K$ możesz wykreślić prawdopodobieństwo GMM dla zestawów szkoleniowych i walidacyjnych w następujący sposób.

W tym przykładzie powinno być oczywiste, że optymalna liczba komponentów wynosi około 20. Jest fajny film na ten temat na Coursera, i tam właśnie otrzymałem powyższe zdjęcie.

Inną powszechnie stosowaną metodą jest bayesowskie kryterium informacyjne (BIC) :

b ja do = - 2) \log (L.) + K. \log (n)

$BIC = -2\log(L)+K\log(n)$ gdzie

L

$L$ to prawdopodobieństwo, K liczba parametrów i

n

$n$ liczba punktów danych. Można to rozumieć jako dodanie kary za liczbę parametrów do prawdopodobieństwa dziennika.

— dontloo
źródło