Czy MCMC spełniający szczegółowy bilans daje rozkład stacjonarny?

12

Wydaje mi się, że rozumiem równanie stanu równowagi szczegółowej, które stwierdza, że dla prawdopodobieństwa przejścia i rozkładu stacjonarnego Łańcuch Markowa spełnia równowagę szczegółową, jeśli $q$ $\pi$

q (x | y) π (y) = q (y | x) π (x),

$q(x|y)\pi(y)=q(y|x)\pi(x),$

ma to dla mnie większy sens, jeśli powtórzę to jako:

\frac{q (x | y)}{q (y | x)} = \frac{π (x)}{π (y)} .

$\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}.$

Zasadniczo prawdopodobieństwo przejścia ze stanu do stanu powinno być proporcjonalne do stosunku ich gęstości prawdopodobieństwa. $x$ $y$

probability mcmc markov-process

— Mike Flynn
źródło

10

Nie jest prawdą, że MCMC spełniający szczegółowy bilans zawsze daje rozkład stacjonarny. Potrzebujesz również tego procesu, aby był ergodyczny . Zobaczmy, dlaczego:

Rozważ jako stan zbioru wszystkich możliwych stanów i zidentyfikuj go za pomocą indeksu . W procesie markowa rozkład ewoluuje zgodnie z $x$ $i$ $p_t(i)$

p_{t} (i) = \sum_{j} Ω_{j \to i} p_{t - 1} (j)

$p_t(i) = \sum_{j} \Omega_{j \rightarrow i} p_{t-1}(j)$

gdzie to macierz oznaczająca prawdopodobieństwo przejścia (twoje ). $\Omega_{j \rightarrow i}$ $q(x|y)$

Mamy to

p_{t} (i) = \sum_{j} (Ω_{j \to i})^{t} p_{0} (j)

$p_t(i) = \sum_{j} (\Omega_{j \rightarrow i})^t p_{0}(j)$

Fakt, że jest prawdopodobieństwem przejścia, sugeruje, że jego wartości własne muszą należeć do przedziału [0,1]. $\Omega_{j \rightarrow i}$

Aby upewnić się, że każda początkowa dystrybucja zbieżna z asymptotyczną, musisz upewnić się, że $p_{0}(j)$

1 Jest tylko jedna wartość własna o wartości 1 i ma ona unikalny niezerowy wektor własny. $\Omega$

Aby upewnić się, że jest rozkładem asymptotycznym, musisz to zapewnić $\pi$

2 Wektor własny związany z wartością własną 1 to . $\pi$

Ergodyczność oznacza 1., szczegółowa równowaga oznacza 2. i dlatego oba tworzą niezbędny i wystarczający warunek asymptotycznej konwergencji.

Dlaczego szczegółowa równowaga oznacza 2:

Zaczynając od

p (i) Ω_{i j} = Ω_{j i} p (j)

$p(i)\Omega_{ij} = \Omega_{ji} p(j)$

i sumując po po obu stronach, otrzymujemy $j$

p (i) = \sum_{j} Ω_{j i} p (j)

$p(i) = \sum_{j}\Omega_{ji} p(j)$

ponieważ , ponieważ zawsze gdzieś przechodzisz. $\sum_{j} \Omega_{ij} = 1$

Powyższe równanie jest definicją wartości własnej 1, (łatwiej sprawdzić, czy piszesz ją w postaci wektorowej :)

1. v = Ω \cdot v

$1.v = \Omega\cdot v$

— Jorge Leitao
źródło

OP nie pyta, czy jest unikalny, czy nie, pyta, w jaki sposób MCMC ze szczegółową równowagą wystarcza, aby uzyskać niezmienną gęstość prawdopodobieństwa.

— gatsu

1

Pierwsze zdanie tej odpowiedzi brzmi: „Nie jest prawdą, że MCMC spełniający szczegółowy bilans zawsze daje rozkład stacjonarny”. Więc nie, szczegółowa równowaga nie wystarcza, aby uzyskać plon i niezmienną gęstość ... Jak to nie odpowiada na pytanie?

— Jorge Leitao

0

Myślę, że tak, ponieważ dla nieredukowalnego MC, jeśli zachowana jest szczegółowa równowaga, ma on unikalny rozkład stacjonarny, ale aby był niezależny od początkowego rozkładu, musi być również aperiodyczny.

W przypadku MCMC zaczynamy od punktu danych, a następnie proponujemy nowy punkt. Możemy, ale nie musimy, przejść do proponowanego punktu, tj. Mamy pętlę własną, która czyni nieredukowalną MC aperiodyczną.

Teraz z racji spełnienia DB ma również dodatnie stany powtarzalne, tj. Średni czas powrotu do stanów jest skończony. Tak więc łańcuch, który budujemy w MCMC, jest nieredukowalnym, aperiodycznym i dodatnim nawrotem, co oznacza, że jest łańcuchem ergodycznym.

Wiemy, że dla nieredukowalnego łańcucha ergodycznego istnieje rozkład stacjonarny, który jest unikalny i niezależny od rozkładu początkowego.

— Siddharth Shakya
źródło