Zrozumienie MCMC i algorytmu Metropolis-Hastings

W ciągu ostatnich kilku dni starałem się zrozumieć, jak działa Markov Chain Monte Carlo (MCMC). W szczególności starałem się zrozumieć i wdrożyć algorytm Metropolis-Hastings. Do tej pory myślę, że mam ogólne zrozumienie algorytmu, ale jest kilka rzeczy, które nie są dla mnie jeszcze jasne. Chcę użyć MCMC, aby dopasować niektóre modele do danych. Z tego powodu opiszę moje rozumienie algorytmu Metropolis-Hastings do dopasowywania linii prostej do niektórych obserwowanych danych :$f(x)=ax$$D$

1) dokonanie wstępnego odgadnięcia . Ustaw to jako nasz bieżący ( ). Dodaj na końcu łańcucha Markowa ( ).$a$$a$$a$$a_0$$a$$C$

2) Powtórz kroki poniżej kilka razy.

3) oceny aktualnego prawdopodobieństwa ( ) zawartych i .${\cal L_0}$$a_0$$D$

4) Zaproponuj nowy ( ), próbkując z rozkładu normalnego za pomocą i . Na razie rozmiar jest stały.$a$$a_1$$\mu=a_0$$\sigma=stepsize$$stepsize$

5) ocena prawdopodobieństwa nowego ( ) zawartych i .${\cal L_1}$$a_1$$D$

6) Jeśli jest większy niż , zaakceptuj jako nowy , dołącz go na końcu i przejdź do kroku 2.${\cal L_1}$${\cal L_0}$$a_1$$a_0$$C$

7) Jeśli jest mniejszy niż wygeneruj liczbę ( ) w zakresie [0,1] z rozkładu równomiernego${\cal L_1}$${\cal L_0}$$U$

8) Jeśli jest mniejsze niż różnica między dwoma prawdopodobieństwami ( - ), zaakceptuj jako nowy , dołącz go na końcu i przejdź do kroku 2.$U$${\cal L_1}$${\cal L_0}$$a_1$$a_0$$C$

9) Jeśli jest większe niż różnica między dwoma prawdopodobieństwami ( - ), na końcu , używaj tego samego , przejdź do kroku 2.$U$${\cal L_1}$${\cal L_0}$$a_0$$C$$a_0$

10) Koniec powtórzenia.

11) Usuń niektóre elementy z początku (faza wypalenia).$C$

12) Teraz wziąć średnią z wartości w . Ta średnia jest szacowana .$C$$a$

Teraz mam pytania dotyczące powyższych kroków:

• Jak skonstruować funkcję prawdopodobieństwa dla ale także dla dowolnej funkcji dowolnej?$f(x)=ax$
• Czy to poprawna implementacja algorytmu Metropolis-Hastings?
• W jaki sposób wybór metody generowania liczb losowych w kroku 7 może zmienić wyniki?
• Jak zmieni się ten algorytm, jeśli mam wiele parametrów modelu? Na przykład, gdybym miał model .$f(x)=ax+b$

Uwagi / Kredyty: Główna struktura algorytmu opisanego powyżej oparta jest na kodzie z warsztatu Python MPIA.

Wydaje się, że istnieją pewne nieporozumienia na temat tego, co algorytm Metropolis-Hastings (MH) znajduje się w jego opisie.

Przede wszystkim należy zrozumieć, że MH jest algorytmem próbkowania. Jak stwierdzono w wikipedii

W statystyce i fizyce statystycznej algorytm Metropolis – Hastings to metoda Markowa z łańcuchem Monte Carlo (MCMC) do uzyskiwania sekwencji losowych próbek z rozkładu prawdopodobieństwa, dla którego bezpośrednie próbkowanie jest trudne.

Aby zaimplementować algorytm MH, potrzebujesz gęstości propozycji lub dystrybucji skokowej , z której łatwo jest próbkować. Jeśli chcesz próbkować z dystrybucji , algorytm MH można zaimplementować w następujący sposób:$Q(\cdot\vert\cdot)$$f(\cdot)$

1. Wybierz początkowy stan losowy .$x_0$
2. Wygeneruj kandydata z .$x^{\star}$$Q(\cdot\vert x_0)$
3. Oblicz stosunek .$\alpha=f(x^{\star})/f(x_0)$
4. Zaakceptuj jako realizację z prawdopodobieństwem .$x^{\star}$$f$$\alpha$
5. Weź jako nowy stan początkowy i kontynuuj próbkowanie, aż uzyskasz pożądany rozmiar próbki.$x^{\star}$

Po uzyskaniu próbki trzeba jeszcze nagrać go i cienkie to: zważywszy, że próbnik działa asymptotycznie, trzeba usunąć pierwszy próbek (burn-in), a biorąc pod uwagę, że próbki są zależne trzeba podpróba każdy iteracji (rębnia).$N$$k$

Przykład w R można znaleźć w następującym linku:

http://www.mas.ncl.ac.uk/~ndjw1/teaching/sim/metrop/metrop.html

Ta metoda jest w dużej mierze stosowana w statystyce bayesowskiej do próbkowania z tylnego rozkładu parametrów modelu.

Przykład, którego używasz, wydaje mi się niejasny, biorąc pod uwagę, że nie jest gęstością, chyba że ograniczysz na ograniczonym zbiorze. Mam wrażenie, że jesteś zainteresowany dopasowaniem linii prostej do zestawu punktów, dla których polecam sprawdzenie zastosowania algorytmu Metropolis-Hastings w kontekście regresji liniowej. Poniższy link przedstawia kilka pomysłów na temat użycia MH w tym kontekście (przykład 6.8):$f(x)=ax$$x$

Robert i Casella (2010), Przedstawiamy metody Monte Carlo z R. Ch. 6, „Algorytmy Metropolis – Hastings”

Na tej stronie jest również wiele pytań, wraz ze wskazówkami do interesujących odniesień, na temat znaczenia funkcji prawdopodobieństwa.

Innym wskaźnikiem możliwego zainteresowania jest pakiet R mcmc, który implementuje algorytm MH z propozycjami Gaussa w poleceniu metrop().