Mam niejasne wyczucie, czym jest metoda przekazywania wiadomości: algorytm, który buduje aproksymację do rozkładu poprzez iteracyjne budowanie aproksymacji każdego z czynników rozkładu, zależnie od wszystkich aproksymacji wszystkich innych czynników.
Uważam, że oba są przykładami Przekazywanie komunikatów wariacyjnych i propagowanie oczekiwań . Co to jest algorytm przekazywania komunikatów bardziej jawnie / poprawnie? Referencje są mile widziane.
Odpowiedzi:
Ponieważ prosisz o referencje, mogę polecić rozdział 16 Davida MacKaya Information Theory, Inference, and Learning Algorithms. (nie musisz czytać poprzednich 15 rozdziałów, aby zrozumieć rozdział 16). Książkę można bezpłatnie pobrać ze strony autora (za zgodą wydawcy).
Dla ciekawego przykładu sprawdź tezę Johna Winna . Wykorzystuje algorytm przekazywania wiadomości do ogólnego uczenia się przez zespół wariacyjny - umożliwiając proste konstruowanie problemów wnioskowania, takich jak ICA i PCA.
Być może artykuł na temat propagowania przekonań będzie pomocny.
Artykuł zawiera opis w dwóch punktach, w jaki sposób „wiadomości” są przekazywane wzdłuż krawędzi na wykresie czynnikowym. „Przekazywanie wiadomości” można wykonać dla dowolnego wykresu. W przypadku drzew algorytm jest dokładny w tym sensie, że daje obliczenia pożądanych rozkładów krańcowych i połączeń węzłów w drzewie. Iteracje algorytmu dla grafów ogólnych są próbami uzyskania aproksymacji pożądanych rozkładów krańcowych lub połączeń.