Efektywny rozmiar próbki do wnioskowania z tyłu z próbkowania MCMC

Przy uzyskiwaniu próbek MCMC w celu wnioskowania na temat określonego parametru, jakie są dobre wskazówki dotyczące minimalnej liczby skutecznych próbek, do których należy dążyć?

I czy ta rada zmienia się, gdy model staje się mniej lub bardziej złożony?

— Matt Albrecht
źródło

Domyślam się, że będzie to prawdopodobnie zależeć od „stałej” w błędzie , który będzie różny w zależności od modelu.

O (n^{- \frac{1}{2}})

$O(n^{-\frac{1}{2}})$

— prawdopodobieństwo prawdopodobieństwo

Pytanie, które zadajesz, różni się od „diagnostyki konwergencji”. Powiedzmy, że wykonałeś wszystkie testy zbieżności (wybierz ulubione) i teraz możesz rozpocząć pobieranie próbek od tyłu.

Istnieją dwie opcje pod względem efektywnej wielkości próby (ESS), możesz wybrać ESS jednowymiarowy lub ESS wielowymiarowy. Jednolity ESS zapewni efektywną wielkość próbki dla każdego parametru osobno, a metody zachowawcze dyktują, wybierasz najmniejszą wartość szacunkową. Ta metoda ignoruje wszystkie korelacje krzyżowe między komponentami. Prawdopodobnie tego używa większość ludzi od jakiegoś czasu

Niedawno wprowadzono wielowymiarową definicję ESS. Wielowymiarowy ESS zwraca jedną liczbę dla efektywnego rozmiaru próbki dla ilości, które chcesz oszacować; i robi to poprzez uwzględnienie wszystkich korelacji krzyżowych w tym procesie. Osobiście zdecydowanie wolę wielowymiarowy ESS. Załóżmy, że interesuje Cię wektor środków rozkładu tylnego. MESS definiuje się następująco $p$ Tutaj

mESS = n {(\frac{| Λ |}{| Σ |})}^{1 / p} .

$\text{mESS} = n \left(\dfrac{|\Lambda|}{|\Sigma|}\right)^{1/p}.$

to struktura kowariancji tylnej (również asymptotyczna kowariancja w CLT, jeśli masz niezależne próbki) $\Lambda$
$\Sigma$ $\Lambda$
$p$
$|\cdot|$

mESS można oszacować za pomocą przykładowej macierzy kowariancji do oszacowania a partia oznacza macierz kowariancji do oszacowania $\Lambda$ $\Sigma$ multiESS

Ten ostatni artykuł zawiera teoretycznie poprawną dolną granicę wymaganej liczby skutecznych próbek. Przed symulacją musisz zdecydować

: precyzja. $\epsilon$ $\epsilon$
$\alpha$ : poziom konstruowania przedziałów ufności.
$p$

mESS \geq \frac{2^{2 / p} π}{(p Γ (p / 2))^{2 / p}} \frac{χ_{1 - α, p}^{2}}{ϵ^{2}},

$\text{mESS} \geq \dfrac{2^{2/p} \pi}{(p \Gamma(p/2))^{2/p}} \dfrac{\chi^2_{1-\alpha, p}}{\epsilon^2},$

$\Gamma(\cdot)$ jest funkcją gamma. Ta dolna granica może być obliczona przy użyciu minESSw pakiecie R mcmcse .

$p = 20$ $95\%$ $\epsilon = .05$ ) błędu odcinka bocznego, będziesz potrzebować

> minESS(p = 20, alpha = .05, eps = .05)
[1] 8716

Dotyczy to każdego problemu (w warunkach prawidłowości). Sposób, w jaki ta metoda dostosowuje się do problemu, polega na tym, że powolne mieszanie łańcuchów Markowa zajmuje więcej czasu, aby osiągnąć tę dolną granicę, ponieważ mESS będzie mniejszy. Teraz możesz sprawdzić kilka razy, multiESSczy Twój łańcuch Markowa osiągnął tę granicę; jeśli nie, idź i zbierz więcej próbek.

— Greenparker
źródło

(+1) Doskonała odpowiedź. Czy wiesz, czy funkcja multiESSzostała zakodowana dla innych języków, takich jak MATLAB? (czy byłoby to trudne do reimplementacji?)

— Lacerbi,

Σ

$\Sigma$

Σ

$\Sigma$

@lacerbi Cieszę się, że mogłeś zakodować to w Matlabie. Jeśli to możliwe, odpowiedz na ten komentarz, gdy się pojawi, abym mógł go użyć. Dzięki

— Greenparker,

Moja implementacja multiESS MATLAB jest dostępna tutaj . Jest to działająca wersja, choć wymagałaby więcej testów (nie znam R, w przeciwnym razie porównałbym go do implementacji R).

— lacerbi

Konwergencja zależy od kilku rzeczy: liczby parametrów, samego modelu, algorytmu próbkowania, danych ...

Sugerowałbym, aby unikać jakiejkolwiek ogólnej zasady i zastosować kilka narzędzi do diagnostyki konwergencji w celu wykrycia odpowiedniej wypalenia i zmniejszenia liczby iteracji w każdym konkretnym przykładzie. Zobacz także http://www.johnmyleswhite.com/notebook/2010/08/29/mcmc-diagnostics-in-r-with-the-coda-package/, http://users.stat.umn.edu/~geyer/mcmc/diag.html.

— Montecristo
źródło