Wieloczynnikowy normalny tylny

To bardzo proste pytanie, ale nie mogę znaleźć pochodnej nigdzie w Internecie ani w książce. Chciałbym zobaczyć pochodną tego, jak jeden Bayesian aktualizuje wielowymiarowy rozkład normalny. Na przykład: wyobraź sobie to

\begin{array}{rcl} P (x | μ, Σ) & = & N (μ, Σ) \\ P (μ) & = & N (μ_{0}, Σ_{0}) . \end{array}

$\begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf \mu}) &= & N({\bf \mu_0}, {\bf \Sigma_0})\,. \end{array}$

Po zaobserwowaniu zestawu , chciałbym obliczyć . Wiem, że odpowiedź brzmi gdzie ${\bf x_1 ... x_n}$ $\mathbb{P}({\bf \mu | x_1 ... x_n})$ $\mathbb{P}({\bf \mu | x_1 ... x_n}) = N({\bf \mu_n}, {\bf \Sigma_n})$

\begin{array}{rcl} μ_{n} & = & Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0} \\ Σ_{n} & = & Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} \frac{1}{n} Σ \end{array}

$\begin{array}{rcl} \bf \mu_n &=& \displaystyle\Sigma_0 \left(\Sigma_0 + \frac{1}{n}\Sigma\right)^{-1}\left(\frac{1}{n}\sum_{i=1}^{n}{\bf x_i}\right) + \frac{1}{n}\Sigma\left(\Sigma_0+\frac{1}{n}\Sigma\right)^{-1}\mu_0 \\ \bf \Sigma_n & =&\displaystyle \Sigma_0\left(\Sigma_0 + \frac{1}{n}\Sigma\right)^{-1}\frac{1}{n}\Sigma \end{array}$

Szukam wyprowadzenia tego wyniku z całą algebrą macierzy pośredniej.

Każda pomoc jest mile widziana.

— Alex
źródło

Zostało to również rozwiązane w naszej książce Bayesian Core , rozdz. 3, sekcja 3.2, strony 54-57 z naszym zdaniem szczegółową algebrą macierzy!

— Xi'an

OP stwierdził, że nie jest to zadanie domowe, a nawet wyjaśnił, dlaczego o to poprosił i jak chce skorzystać z odpowiedzi. Dlaczego nie opublikować go innym? Rozumiem, dlaczego nie chcemy oferować usługi rozwiązywania problemów domowych, ale to trochę za daleko.

— Michael R. Chernick

@Alex: Przepraszam, zły link, miałem na myśli Bayesian Core . Pamiętaj, że opublikowaliśmy również rozwiązania wszystkich problemów w arXiv . Więc opublikowanie kompletnego rozwiązania tutaj nie zaszkodzi!

— Xi'an

Usunąłem część komentarzy, które są równoznaczne z prywatną wymianą między osobami z ustaleniem, że podzielę się prywatną odpowiedzią na pytanie. Tego rodzaju nadużywanie tej witryny dotyczy publicznych pytań i odpowiedzi publicznych .

— whuber

Podobnie jak FYI, derywacja znajduje się w Klasyfikacji Wzorów autorstwa Dudy, Harta i Bociana. Miałem jednak trudności z wykonaniem niektórych ich kroków, co ma dla mnie znaczenie. Gdyby to była po prostu praca domowa, można po prostu zapisać dokładnie to, co mają.

— Alex

Z rozkładami na naszych losowych wektorach:

$\mathbf x_i | \mathbf \mu \sim N(\mu , \mathbf \Sigma)$

$\mathbf \mu \sim N(\mathbf \mu_0, \mathbf \Sigma_0)$

Zgodnie z regułą Bayesa rozkład tylny wygląda następująco:

$p(\mu| \{\mathbf x_i\}) \propto p(\mu) \prod_{i=1}^N p(\mathbf x_i | \mu)$

Więc:

$\ln p(\mu| \{\mathbf x_i\}) = -\frac{1}{2}\sum_{i=1}^N(\mathbf x_i - \mu)'\mathbf \Sigma^{-1}(\mathbf x_i - \mu) -\frac{1}{2}(\mu - \mu_0)'\mathbf \Sigma_0^{-1}(\mu - \mu_0) + const$

$= -\frac{1}{2} N \mu' \mathbf \Sigma^{-1} \mu + \sum_{i=1}^N \mu' \mathbf \Sigma^{-1} \mathbf x_i -\frac{1}{2} \mu' \mathbf \Sigma_0^{-1} \mu + \mu' \mathbf \Sigma_0^{-1} \mu_0 + const$

$= -\frac{1}{2} \mu' (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1}) \mu + \mu' (\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i) + const$

$= -\frac{1}{2}(\mu - (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i))' (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1}) (\mu - (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i)) + const$

Jaka jest gęstość logarytmiczna Gaussa:

$\mu| \{\mathbf x_i\} \sim N((N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i), (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1})$

Używając tożsamości Woodbury'ego w naszym wyrażeniu dla macierzy kowariancji:

$(N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1} = \mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mathbf \Sigma_0$

Który zapewnia macierz kowariancji w formie, jakiej chciał PO. Używając tego wyrażenia (i jego symetrii) dalej w wyrażeniu dla średniej mamy:

$\mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mathbf \Sigma_0 \mathbf \Sigma_0^{-1} \mu_0 + \frac{1}{N} \mathbf \Sigma_0(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \mathbf \Sigma \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i$

$= \mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mu_0 + \mathbf \Sigma_0(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \sum_{i=1}^N (\frac{1}{N} \mathbf x_i)$

Która forma jest wymagana przez PO dla średniej.

— przypuszczenia
źródło