Jaki jest związek między łańcuchem Markov a łańcuchem Markov monte carlo

Próbuję zrozumieć łańcuchy Markowa za pomocą SAS. Rozumiem, że proces Markowa to taki, w którym przyszły stan zależy tylko od stanu bieżącego, a nie od stanu przeszłego, i istnieje matryca przejścia, która wychwytuje prawdopodobieństwo przejścia z jednego stanu do drugiego.

Ale potem natrafiłem na ten termin: Markov Chain Monte Carlo. Chcę wiedzieć, czy Markov Chain Monte Carlo jest w jakikolwiek sposób związany z procesem Markowa, który opisałem powyżej?

Cóż, tak, istnieje związek między tymi dwoma terminami, ponieważ losowania z MCMC tworzą łańcuch Markowa. Od Gelman, Analiza danych bayesowskich (wydanie 3), s. 1. 265:

Symulacja łańcucha Markowa (zwana także łańcuchem Markowa Monte Carlo lub MCMC) jest ogólną metodą opartą na rysowaniu wartości z odpowiednich rozkładów, a następnie korygowaniu tych rysunków, aby lepiej przybliżać docelowy rozkład tylny, p ( θ | y ) . Próbkowanie odbywa się sekwencyjnie, z rozkładem losowań w zależności od ostatniej losowanej wartości; stąd losowania tworzą łańcuch Markowa.$\theta$$p(\theta|y)$

Związek między obiema koncepcjami polega na tym, że metody Markowa Monte Carlo (znane również jako MCMC) wykorzystują teorię łańcucha Markowa do tworzenia symulacji i aproksymacji Monte Carlo ze złożonego rozkładu docelowego .$\pi$

W praktyce te metody symulacyjne generują ciąg który jest łańcuchem Markowa, tj. Taki, że rozkład X i dla całej przeszłości { X i - 1 , … , X 1 } zależy tylko od X i - 1 . Innymi słowy, X i = f ( X i - $X_1,\ldots,X_N$$X_i$$\{X_{i-1},\ldots,X_1\}$$X_{i-1}$ gdzie

$$X_i=f(X_{i-1},\epsilon_i)$$ $f$jest funkcją określoną przez algorytm, a rozkład docelowy i ϵ i są iid. Gwarancje (ergodyczny) teorię, że X i zbieżny (w dystrybucji) do gatunku , jak i trafia do ∞ .$\pi$$\epsilon_i$$X_i$$\pi$$i$$\infty$

Najprostszym przykładem algorytmu MCMC jest próbnik wycinków : w iteracji i tego algorytmu wykonaj

1. symulacja $\epsilon^1_i\sim\mathrm{U}(0,1)$
2. symulować (co oznacza wygenerowanie drugiego niezależnego ϵ $X_{i}\sim\mathrm{U}(\{x;\pi(x)\ge\epsilon^1_i\pi(X_{i-1})\})$ )$\epsilon^2_i$

Na przykład, jeśli rozkład docelowy jest normalnym [dla którego oczywiście nie potrzebujesz MCMC w praktyce, jest to zabawkowy przykład!]Powyższe tłumaczy się jako$\mathrm{N}(0,1)$

1. symulować $\epsilon^1_i\sim\mathrm{U}(0,1)$
2. symulować , tj.Xi=±ϵ 2 i {-2log($X_{i}\sim\mathrm{U}(\{x;x^2\le-2\log(\sqrt{2\pi}\epsilon^1_i\})$ zε 2 i ~U(0,1$X_i=\pm \epsilon_i^2\{-2\log(\sqrt{2\pi}\epsilon^1_i)\varphi(X_{i-1})\}^{1/2}$$\epsilon_i^2\sim\mathrm{U}(0,1)$

lub w R.

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

$\mathrm{N}(0,1)$$(X_i)$

$(X_i,\epsilon^1_i\pi(X_i))$

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

który podąża za pionowymi i poziomymi ruchami łańcucha Markowa pod docelową krzywą gęstości.