Diagnostyka konwergencji Gelmana i Rubina, jak uogólnić do pracy z wektorami?

Diagnostyka Gelmana i Rubina służy do sprawdzania zbieżności wielu równoległych łańcuchów mcmc. Porównuje wariancję wewnątrz łańcucha z wariancją między łańcuchem, opis poniżej:

Kroki (dla każdego parametru):

Poprowadź m ≥ 2 łańcuchy o długości 2n od nadmiernie rozproszonych wartości początkowych.
Odrzuć pierwsze n losowań w każdym łańcuchu.
Oblicz wariancję wewnątrz łańcucha i między łańcuchem.
Oblicz szacunkową wariancję parametru jako ważoną sumę wariancji wewnątrz łańcucha i między łańcuchem.
Oblicz potencjalny współczynnik redukcji skali.
Element listy

Chcę użyć tej statystyki, ale zmienne, których chcę użyć, to losowe wektory.

Czy w tym przypadku sensowne jest zastosowanie średniej macierzy kowariancji?

mcmc convergence covariance-matrix

— Tim
źródło

Zalecenie: wystarczy obliczyć PSRF osobno dla każdego składnika skalarnego

Oryginalny artykuł Gelmana i Rubina [1], a także podręcznik analizy danych bayesowskich Gelmana i in. [2] zaleca obliczenie potencjalnego współczynnika redukcji skali (PSRF) osobno dla każdego interesującego parametru skalarnego. Aby wydedukować zbieżność, wymagane jest, aby wszystkie PSRF były bliskie 1. Nie ma znaczenia, że twoje parametry są interpretowane jako wektory losowe, ich komponenty są skalarami, dla których możesz obliczyć PSRF.

Brooks i Gelman [3] zaproponowali wielowymiarowe rozszerzenie PSRF, które omówię w następnej części tej odpowiedzi. Cytując jednak Gelmana i Shirleya [4]:

[...] metody te mogą czasami oznaczać przesadę: poszczególne parametry można dobrze oszacować, nawet jeśli przybliżona zbieżność symulacji rozkładu wielowymiarowego może zająć bardzo dużo czasu.

Alternatywnie: rozszerzenie wielu odmian przez Brooks & Gelman

Brooks i Gelman [3] proponują wielowymiarowe rozszerzenie PSRF, w którym faktycznie oblicza się macierz szacowanej kowariancji (twój krok 4) jako ważoną sumę macierzy kowariancji wewnątrz łańcucha ( ) i między łańcuchem ( ) etap $W$ $B$

\hat{V.} = \frac{n - 1}{n} W. + \frac{1}{n} b,

$\begin{equation} \hat{V} = \frac{n-1}{n}W + \frac{1}{n}B, \end{equation}$

n

$n$

\hat{V}, W

$\hat{V},W$

\hat{R} = max_{za} \frac{{za}^{T.} \hat{V.} za}{{za}^{T.} W. za} = \frac{n - 1}{n} + (\frac{m + 1}{m}) λ_{1},

$\begin{equation} \hat{R} = \max_a \frac{a^T\hat{V}a}{a^TWa} = \frac{n-1}{n} + \left(\frac{m+1}{m}\right)\lambda_1, \end{equation}$

m

$m$

λ_{1}

$\lambda_1$

W^{- 1} \hat{V} / n

$W^{-1}\hat{V}/n$

λ_{1} \to 0

$\lambda_1\rightarrow 0$

n

$n$

\hat{R}

$\hat{R}$

Bibliografia

[1] Gelman, Andrew i Donald B. Rubin. „Wnioskowanie z iteracyjnej symulacji przy użyciu wielu sekwencji.” Statistics Science (1992): 457-472.

[2] Gelman, Andrew i in. Analiza danych bayesowskich. Prasa CRC, 2013.

[3] Brooks, Stephen P. i Andrew Gelman. „Ogólne metody monitorowania konwergencji iteracyjnych symulacji”. Journal of Computational and Graphical Statistics 7.4 (1998): 434-455.

[4] Gelman, Andrew i Kenneth Shirley. „Wnioski z symulacji i monitorowania konwergencji”. (Rozdział 6 w Brooks, Steve i in., Red., Handbook of Markov Chain Monte Carlo. CRC Press, 2011.)

Wszystkie artykuły z wyjątkiem podręcznika [2] są dostępne na stronie Andrew Gelmana .

— Juho Kokkala
źródło