Wyprowadzenie tylnej części normalnego życzenia


11

Pracuję nad wyprowadzeniem tylnej normalnej części życzeń, ale utknąłem przy jednym z parametrów (tylnej matrycy skali, patrz na dole).

Tylko dla kontekstu i kompletności, oto model i pozostałe pochodne:

xiN(μ,Λ)μN(μ0,(κ0Λ)1)ΛW(υ0,W0)

Rozszerzone formy każdego z trzech czynników są (do stałej proporcjonalności):

  • Prawdopodobieństwo:

    N(xi|μ,Λ)|Λ|N/2exp(12i=1N(xiTΛxi2μTΛxi+μTΛμ))
  • Zwykły przed:

    N(μ|(μ0,κ0Λ)1)|Λ|1/2exp(12(μTκ0Λμ2μTκ0Λμ0+μ0Tκ0Λμ0))
  • Wishart before:

    W(Λ|υ0,W0)|Λ|υ0D12exp(12tr(W01Λ))

Chcemy tylnego normalnego życzenia ( ), które można rozłożyć jako a także :N ( μ | μ , κ Λ ) W ( Λ | υ , W )μ,Λ|μ,κ,υ,WN(μ|μ,κΛ)W(Λ|υ,W)

Stopień wolnościυ

Łącząc pierwsze czynniki prawdopodobieństwa i Wishart, otrzymujemy pierwszy czynnik z Wishart z tyłu: i dlatego mamy pierwszy parametr posterior: υ=υ0+N

|Λ|υ0+ND12
υ=υ0+N

Współczynnik skaliκ

Identyfikujemy elementy otoczone przez i aby ustalić, kto poprzedni jest aktualizowany według prawdopodobieństwa: i dlatego otrzymaliśmy drugi parametr: μ κ 0 Λ μ T ( ( κ 0 + N ) Λ ) μ κ = κ 0 + NμTμκ0Λ

μT((κ0+N)Λ)μ
κ=κ0+N

Meanμ

Trzecie parametry pochodzą z identyfikacji zawartości : I dlatego otrzymaliśmy trzeci parametr: 2 μ T ( Λ N ¯ x + κ 0 Λ μ 0 )2μT...μ = 1

2μT(ΛNx¯+κ0Λμ0)=2μTκΛμ(ΛNx¯+κ0Λμ0)=κΛμ(Nx¯+κ0μ0)=κμ
μ=1k(Nx¯+κ0μ0)

Skala macierzyW

Czwarty parametr pochodzi z pracy nad pozostałymi parametrami:

tr(W1Λ)=tr(W01Λ)+i=1NxiTΛxi+μ0Tκ0Λμ0=tr(W01Λ)+i=1Ntr(xiTΛxi)+tr(μ0Tκ0Λμ0)=tr(W01Λ+i=1NxiTΛxi+μ0Tκ0Λμ0)

Jak przejść dalej (jeśli dotychczas nie popełniłem błędów) i uzyskać standardowe rozwiązanie dla ?W

Edycja 1 :

Teraz ponownie układamy warunki, dodajemy i odejmujemy niektóre czynniki, aby uzyskać dwa kwadraty, jak w rozwiązaniu standardowym:

tr(W1Λ)=tr(W1Λ+i=1N(xiTΛxi+x¯TΛx¯2xiTΛx¯)+κ0(μ0TΛμ0+x¯TΛx¯2x¯TΛμ0)i=1Nx¯TΛx¯+2i=1NxiTΛx¯κ0x¯TΛx¯+2κ0x¯TΛμ0)=tr(W1Λ+i=1N(xix¯)Λ(xix¯)T+κ0(x¯μ0)Λ(x¯μ0)TNx¯Λx¯T+2Nx¯Λx¯Tκ0x¯Λx¯T+2κ0x¯Λμ0T)

Upraszczamy czynniki, które pozostają poza kwadratami:

tr(W1Λ)=tr(W1Λ+i=1N(xix¯)TΛ(xix¯)+κ0(x¯μ0)TΛ(x¯μ0)+(Nκ0)x¯TΛx¯+2κ0x¯TΛμ0)

Edytuj 2 ( kontynuuj dzięki odpowiedzi @bdeonovic )

Ślad jest cykliczny, więc . Następnie: a następnie: tr(ABC)=tr(BCA)=tr(CAB)

tr(W1Λ)=tr(W1Λ+i=1N(xix¯)(xix¯)TΛ+κ0(x¯μ0)(x¯μ0)TΛ+(Nκ0)x¯x¯TΛ+2κ0x¯μ0TΛ)
tr(W1)=tr(W1+i=1N(xix¯)(xix¯)T+κ0(x¯μ0)(x¯μ0)T+(Nκ0)x¯x¯T+2κ0x¯μ0T)

Prawie! Ale wciąż tam nie ma. Celem jest:

W1+i=1N(xix¯)(xix¯)T+κ0Nκ0+N(x¯μ0)(x¯μ0)T

Odpowiedzi:


4

Ślad jest cykliczny, więc . Również ślad rozkłada się podczas dodawania, tak że . Dzięki tym faktom powinieneś być w stanie przełączyć termin do tyłu w terminach śledzenia, połączyć terminy śledzenia razem. Wynik powinien wyglądać mniej więcej tak:tr(ABC)=tr(BCA)=tr(CAB)tr(A+B)=tr(A)+tr(B)Λ

W1=W1+i=1Nxixi+μ0μ0

dzięki! jeszcze nie wiem, jak się stąd dostać do standardowych wyników ( en.wikipedia.org/wiki/Conjugate_prior ), które zawierają i . Nie mam nawet znaków negatywnych: O(xix¯)x¯μ0
Alberto

3

Prawdopodobieństwo wcześniejsze to ×

|Λ|N/2exp{12(i=1NxiTΛxiNx¯TΛμμTΛNx¯+NμTΛμ)}×|Λ|(ν0D1)/2exp{12tr(W01Λ)}×|Λ|1/2exp{κ02(μTΛμμTΛμ0μ0TΛμ+μ0TΛμ0)}.
Można to przepisać jako Możemy przepisać
|Λ|1/2|Λ|(ν0+ND1)/2×exp{12((κ0+N)μTΛμμTΛ(κ0μ0+Nx¯)(κ0μ0+Nx¯)TΛμ+κ0μ0TΛμ0+i=1NxiTΛxi+tr(W01Λ))}
(κ0+N)μTΛμμTΛ(κ0μ0+Nx¯)(κ0μ0+Nx¯)TΛμ+κ0μ0TΛμ0+i=1NxiTΛxi+tr(W01Λ)
w następujący sposób, dodając i odejmując termin:
(κ0+N)μTΛμμTΛ(κ0μ0+Nx¯)(κ0μ0+Nx¯)TΛμ+1κ0+N(κ0μ0+Nx¯)TΛ(κ0μ0+Nx¯)1κ0+N(κ0μ0+Nx¯)TΛ(κ0μ0+Nx¯)+κ0μ0TΛμ0+i=1NxiTΛxi+tr(W01Λ).
Dwie górne linie teraz dzielą się na:
(κ0+N)(μκ0μ+Nx¯κ0+N)TΛ(μκ0μ+Nx¯κ0+N).

Dodawanie i odejmowanie , co następuje: można przepisać jako Nx¯TΛx¯

1κ0+N(κ0μ0+Nx¯)TΛ(κ0μ0+Nx¯)+κ0μ0TΛμ0+i=1NxiTΛxi+tr(W01Λ)
i=1N(xiTΛxixiTΛx¯x¯TΛxi+x¯TΛx¯)+Nx¯TΛx¯+κ0μ0TΛμ01κ0+N(κ0μ0+Nx¯)TΛ(κ0μ0+Nx¯)+tr(W01Λ).
Termin sumy
i=1N(xiTΛxixiTΛx¯x¯TΛxi+x¯TΛx¯)
jest równy Teraz można rozwinąć jako
i=1N(xix¯)TΛ(xix¯).
Nx¯TΛx¯+κ0μ0TΛμ01κ0+N(κ0μ0+Nx¯)TΛ(κ0μ0+Nx¯)
Nx¯TΛx¯+κ0μ0TΛμ01κ0+N(κ02μ0TΛμ0+Nκ0μ0TΛx¯0+Nκ0x¯TΛμ0+N2x¯TΛx¯),
co jest równe
Nκ0κ0+N(x¯TΛx¯x¯TΛμ0μ0TΛx¯+μ0TΛμ0)=Nκ0κ0+N(x¯μ0)TΛ(x¯μ0).

Następujące dwa terminy to skalary: A każdy skalar jest równy jego śladowi, więc

i=1N(xix¯)TΛ(xix¯),Nκ0κ0+N(x¯μ0)TΛ(x¯μ0).
tr(W01Λ)+i=1N(xix¯)TΛ(xix¯)+Nκ0κ0+N(x¯μ0)TΛ(x¯μ0)
można przepisać jako Ponieważ , powyższa suma jest równa
tr(W01Λ)+tr(i=1N(xix¯)TΛ(xix¯))+tr(Nκ0κ0+N(x¯μ0)TΛ(x¯μ0)).
tr(ABC)=tr(CAB)
tr(W01Λ)+tr(i=1N(xix¯)(xix¯)TΛ)+tr(Nκ0κ0+N(x¯μ0)(x¯μ0)TΛ).
Korzystając z faktu, że , możemy przepisać sumę jako tr(A+B)=tr(A)+tr(B)
tr(W01Λ+i=1N(xix¯)(xix¯)TΛ+Nκ0κ0+N(x¯μ0)(x¯μ0)TΛ)=tr((W01+i=1N(xix¯)(xix¯)T+Nκ0κ0+N(x¯μ0)(x¯μ0)T)Λ).

Podsumowując, jeśli pozwolimy mamy prawdopodobieństwo, że wcześniejsze jest równe S=i=1N(xix¯)(xix¯)T×

|Λ|1/2exp{κ0+N2(μκ0μ+Nx¯κ0+N)TΛ(μκ0μ+Nx¯κ0+N)}×|Λ|(ν0+ND1)/2exp{12tr((W01+S+Nκ0κ0+N(x¯μ0)(x¯μ0)T)Λ)},
zgodnie z wymaganiami.
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.