Dlaczego redundantna średnia parametryzacja przyspiesza Gibbs MCMC?

W książce Gelman & Hill (2007) (Analiza danych przy użyciu regresji i modeli wielopoziomowych / hierarchicznych) autorzy twierdzą, że uwzględnienie redundantnych parametrów średnich może przyspieszyć MCMC.

Podany przykład jest nie zagnieżdżonym modelem „symulatora lotu” (równanie 13.9):

\begin{aligned} y_{i} & \sim N (μ + γ_{j [i]} + δ_{k [i]}, σ_{y}^{2}) \\ γ_{j} & \sim N (0, σ_{γ}^{2}) \\ δ_{k} & \sim N (0, σ_{δ}^{2}) \end{aligned}

$\begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, \sigma^2_\gamma) \\ \delta_k &\sim N(0, \sigma^2_\delta) \end{align}$

Zalecają ponowną parametryzację, dodając średnie parametry i w następujący sposób: $\mu_\gamma$ $\mu_\delta$

\begin{aligned} γ_{j} \sim N (μ_{γ}, σ_{γ}^{2}) \\ δ_{k} \sim N (μ_{δ}, σ_{δ}^{2}) \end{aligned}

$\begin{align} \gamma_j \sim N(\mu_\gamma, \sigma^2_\gamma) \\ \delta_k \sim N(\mu_\delta, \sigma^2_\delta) \end{align}$

Jedynym uzasadnieniem jest to, że (s. 420):

Symulacje mogą utknąć w konfiguracji, w której cały wektor (lub ) jest daleki od zera (nawet jeśli przypisano im rozkład ze średnią 0). Ostatecznie symulacje zbiegną się w prawidłowy rozkład, ale nie chcemy czekać. $\gamma$ $\delta$

W jaki sposób nadmiarowe średnie parametry pomagają rozwiązać ten problem?

Wydaje mi się, że model nie zagnieżdżony jest powolny głównie z powodu ujemnej korelacji i . (Rzeczywiście, jeśli jeden wzrośnie, drugi musi spaść, biorąc pod uwagę, że ich suma jest „ustalona” przez dane). Czy nadmiarowe średnie parametry pomagają w zmniejszeniu korelacji między i , czy czymś zupełnie innym? $\gamma$ $\delta$ $\gamma$ $\delta$

mcmc hierarchical-bayesian gibbs

— Heisenberg
źródło

Czy szukasz intuicyjnego wglądu w ten konkretny problem (np. Czy jest to korelacja - czy korelacje - i - ), czy szukasz intuicyjnego wglądu w ogólny problem ( tzn. koncepcja hierarchicznego centrowania)? W tym drugim przypadku, czy pragnąłbyś intuicji zbliżonej do dowodu lub intuicji, która byłaby znacznie bardziej luźna i pokazuje mniej więcej, jak to działa?

γ

$\gamma$

δ

$\delta$

γ

$\gamma$

μ

$\mu$

δ

$\delta$

μ

$\mu$

— Sextus Empiricus

Chciałbym intuicyjny wgląd w pojęcie hierarchicznego centrowania w ogóle (ponieważ konkretny przypadek w pytaniu jest bezpośrednio zastosowaniem hierarchicznego centrowania). Kluczową kwestią, o której chcę wiedzieć, jest: dlaczego hierarchiczne centrowanie działa, jeśli wariancja na poziomie grupy stanowi znaczną część całkowitej wariancji ? Artykuł Gelfanda i in. dowodzi tego matematycznie (tj. wyprowadza korelację i znajduje jej ograniczające zachowanie), ale bez żadnego intuicyjnego wyjaśnienia.

— Heisenberg

Korelacji, której należy unikać, jest ta między a i . $\mu$ $\gamma_j$ $\delta_k$

Zastąpienie i w modelu obliczeniowym alternatywnymi parametrami, które skupiają się wokół zmniejsza korelację. $\gamma_j$ $\delta_k$ $\mu$

Zobacz bardzo jasny opis w sekcji 25.1 „Co to jest hierarchiczne centrowanie?” w (ogólnodostępnej) książce „Szacowanie MCMC w MLwiN” Williama J. Browne'a i innych. http://www.bristol.ac.uk/cmm/software/mlwin/download/manuals.html

— Sextus Empiricus
źródło

Sekcja 25.1 „Oszacowania MCMC MlwiN” opisuje tę technikę „hierarchicznego centrowania”, ale nie zawiera żadnych szczegółów poza twierdzeniem, że działa. Przeglądając jego odnośniki, odkryłem, że faktyczny dowód na tę technikę przedstawiono w artykule Efektywne parametryzacje normalnych liniowych modeli mieszanych , autorstwa Gelfanda i in., Biometrika vol. 82 wydanie 3.

— Heisenberg

Z kolei w powyższym artykule wykorzystano właściwości rozkładu normalnego bez wyjaśnienia. Znalazłem dowody tych właściwości w analizie sprzężonego bayesowskiego rozkładu Gaussa przez Kevina Murphy'ego.

— Heisenberg

Niestety nadal nie widziałem intuicyjnego wyjaśnienia, dlaczego ta technika działa.

— Heisenberg

Jest późno, ale myślę, że ten artykuł może być tym, czego szukasz

— baruuum