Szacowanie kowariancji a posteriori rozkładu wielowymiarowego gaussa

15

Muszę „nauczyć się” rozkładu dwuwymiarowego gaussa z kilkoma próbkami, ale dobrą hipotezą na temat wcześniejszego rozkładu, dlatego chciałbym zastosować podejście bayesowskie.

Zdefiniowałem mój wcześniejszy:

P (μ) \sim N (μ_{0}, Σ_{0})

$\mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0})$

μ_{0} = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ_{0} = [\begin{matrix} 16 & 0 \\ 0 & 27 \end{matrix}]

$\mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & 0 \\ 0 & 27 \end{bmatrix}$

A mój rozkład wynika z hipotezy

P (x | μ, Σ) \sim N (μ, Σ)

$\mathbf{P}(x|\mathbf{\mu},\mathbf{\Sigma}) \sim \mathcal{N}(\mathbf{\mu},\mathbf{\Sigma})$

μ = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\mu} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

Teraz wiem dzięki tutaj , aby oszacować średnią z danych

P (μ | x_{1}, \dots, x_{n}) \sim N ({\hat{μ}}_{n}, {\hat{Σ}}_{n})

$\mathbf{P} (\mathbf{\mu} | \mathbf{x_1}, \dots , \mathbf{x_n}) \sim \mathcal{N}(\mathbf{\hat{\mu}_n}, \mathbf{\hat{\Sigma}_n})$

Potrafię obliczyć:

{\hat{μ}}_{n} = Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0}

$\mathbf{\hat{\mu}_n} = \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^ {-1} \left( {1 \over n} \sum_{i=1}^{n} \mathbf{x_i} \right) + {1 \over n} \mathbf{\Sigma} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\mu_0}$

{\hat{Σ}}_{n} = \frac{1}{n} Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} Σ

$\mathbf {\hat{\Sigma}_n} = {1 \over n} \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\Sigma}$

Teraz pojawia się pytanie, może się mylę, ale wydaje mi się, że jest tylko macierzą kowariancji dla parametru szacunkowego , a nie szacunkową kowariancją moich danych. Chciałbym też obliczyć $\mathbf{\Sigma_n}$ $\mathbf{\mu_n}$

P (Σ_{n_{1}} | x_{1}, \dots, x_{n})

$\mathbf{P} (\mathbf{\Sigma_{n_1}} | \mathbf{x_1}, \dots , \mathbf{x_n})$

w celu uzyskania w pełni określonej dystrybucji wyciągniętej z moich danych.

czy to możliwe? Czy to już rozwiązane przez obliczenia $\mathbf{\Sigma_n}$ i to właśnie wyraża się w niewłaściwy sposób powyższego wzoru (albo ja po prostu misentrepreting go)? Referencje będą mile widziane. Wielkie dzięki.

EDYTOWAĆ

Z komentarzy wynika, że moje podejście było „złe”, w tym sensie, że zakładałem stałą kowariancję określoną przez . Muszę też nadać temu pierwszeństwo, $\mathbf{\Sigma}$ $\mathbf{P}(\mathbf{\Sigma})$ , ale nie wiem, jakiej dystrybucji powinienem użyć, a następnie jaka jest procedura jej aktualizacji.

— unziberla
źródło

Określiłeś już kowariancję swoich danych jako

- i nie określiłeś wcześniejszego rozkładu dla tego, który ma być aktualizowany?

Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

— Corone

Rozumiem co masz na myśli. Tak więc z moim podejściem zasadniczo założyłem, że wariancja jest stała i określona. Jeśli chcę to oszacować, potrzebuję wcześniej.

Teraz moim problemem jest to, że nie jest jasne, jak to zdefiniować i jaki byłby dla niego odpowiedni rozkład, ale wydaje się, że jest to poza zakresem pierwszego pytania .

P (Σ) \sim F (μ_{Σ}, Σ_{Σ})

$\mathbf{P}(\mathbf{\Sigma}) \sim \mathcal{F} (\mathbf{\mu_{\Sigma}} , \Sigma_{\Sigma})$

— unziberla

Następnie zmień pytanie :-)

— Corone

11

Możesz wykonać aktualizację bayesowską dla struktury kowariancji w takim samym duchu, jak zaktualizowałeś średnią. Pierwszym sprzężonym dla macierzy kowariancji normalnej wielowymiarowej jest rozkład odwrotny-Wishart, więc warto zacząć od tego,

$P(\Sigma) \sim W^{-1}(\mathbf{\Psi}, \nu)$

Następnie, gdy otrzymasz próbkę o długości , możesz obliczyć szacunkową kowariancję próbki $X$ $n$ $\Sigma_X = \frac{1}{n}(X-\mu)^\top(X-\mu)$

Można to następnie wykorzystać do zaktualizowania oszacowania macierzy kowariancji

$P(\Sigma|X) \sim W^{-1}(n\Sigma_X + \mathbf{\Psi}, n + \nu)$

Możesz użyć tej średniej jako oszacowania punktowego dla kowariancji (Estymator średniej tylnej)

$E[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n-p-1}$

lub możesz użyć trybu (Maximum A Posteriori Estimator)

$\text{Mode}[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n+p+1}$

— Corone
źródło

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

P (X | μ, \hat{Σ})

$\mathbf{P} (\mathbf{X} | \mu, \mathbf{\hat{\Sigma}} )$

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

{\hat{μ}}_{n}

$\mathbf{\hat{\mu}_n}$

Zamiast tego należy zastosować podejście, które opisujesz

\hat{Σ} = E [Σ | x_{1} \dots x_{n}]

$\mathbf{\hat{\Sigma}} = E[ \Sigma | \mathbf{x_1} \dots \mathbf{x_n} ]$ tak, że mam rzeczywistą wartość kowariancji, tak jakbym to wiedział wcześniej. W podejściu częstokierunkowym zabrzmiałoby to niewłaściwie, ale może jest coś, czego brakuje mi w tym, że zakładam, że przeor jest znany, a to sprawia, że procedura jest poprawna?

— unziberla

7

Ok, znalazłem prawdziwe rozwiązanie mojego problemu. Zamieszczam je, nawet jeśli wybrano prawidłową odpowiedź na moje (niewłaściwe) pytanie.

Zasadniczo moje pytanie wyjaśnia, jak oszacować średnią znając kowariancję, i odpowiedź, jak oszacować kowariancję znając średnią. Ale moim rzeczywistym problemem było oszacowanie przy nieznanych obu parametrach.

Znalazłem odpowiedź na Wikipedii z wyjaśnieniem pochodnej tutaj . Sprzężony przed normalnym wielowymiarowym normalnym jest normalna-odwrotna-Wishart, który jest w zasadzie rozkładem na normalne wielowymiarowe.

Wymagane są wcześniejsze parametry $\mathbf{\mu}_0$ zdefiniować średnią, $\mathbf{\Psi}$ aby zdefiniować kowariancję i dwie wartości skalarne $\kappa_0$ i $\nu_0$ Powiedziałbym, że określ, jak jesteśmy pewni szacowania odpowiednio pierwszych dwóch parametrów.

Zaktualizowany rozkład po obserwacji $n$ próbki a $p$ -variate Normal ma postać

P (μ, Σ | X) \sim N I W (\frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}, κ_{0} + n, ν_{0} + n, Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T})

$\mathbf{P}(\boldsymbol\mu, \mathbf{\Sigma} | \mathbf{X}) \sim \mathrm{NIW} \left( \frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\, \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T \right)$

where

\bar{x} = \frac{1}{n} \sum_{i = 0}^{n} x_{i}

$\mathbf{\bar{x}} = {1 \over n} \sum_{i=0}^{n} \mathbf{x_i}$

C = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T}

$\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T$

so my desired estimated parameters are

E (μ | X) = \frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}

$E (\boldsymbol\mu | \mathbf{X}) = {{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}} \over{\kappa_0+n} }$

E (Σ | X) = \frac{Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T}}{ν_{0} + n - p - 1}

$E (\mathbf{\Sigma} | \mathbf{X}) = \frac{ \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T }{ \nu_0 + n - p - 1}$

— unziberla
źródło