Hamiltonian Monte Carlo

Czy ktoś może wyjaśnić główną ideę metod Hamiltona Monte Carlo iw jakich przypadkach przyniesie lepsze wyniki niż metody Monte Carlo Markowa w łańcuchu?

Uważam, że najbardziej aktualnym źródłem Hamiltonian Monte Carlo, jego praktycznymi zastosowaniami i porównaniem z innymi metodami MCMC jest ten artykuł przeglądowy z datą 2017, autorstwa Betancourt:

Ostatecznym wyzwaniem w oszacowaniu oczekiwań probabilistycznych jest kwantyfikacja typowego zestawu rozkładu celu, który koncentruje się w pobliżu złożonej powierzchni w przestrzeni parametrów. Hamiltonian Monte Carlo generuje spójne badanie gładkich rozkładów celów, wykorzystując geometrię typowego zestawu. Ta skuteczna eksploracja zapewnia nie tylko lepszą wydajność obliczeniową niż inne algorytmy Monte Carlo w łańcuchu Markowa, ale także silniejsze gwarancje poprawności uzyskanych estymatorów. Ponadto dokładna analiza tej geometrii ułatwia oparte na zasadach strategie automatycznego konstruowania optymalnych implementacji metody, umożliwiając użytkownikom skoncentrowanie się na budowaniu lepszych modeli zamiast zmagania się z frustracjami obliczeń statystycznych. W rezultacie,Stan (Stan Development Team, 2017).

Hamiltonian Monte Carlo ( HMC ), pierwotnie zwany Hybrid Monte Carlo, jest formą Markowa Łańcucha Monte Carlo z terminem pędu i poprawkami.

„Hamiltonian” odnosi się do mechaniki hamiltonianu.

Przypadek użycia to stochastycznie (losowo) badanie wysokich wymiarów w celu integracji numerycznej w przestrzeni prawdopodobieństwa.

Porównaj z MCMC

Zwykły / waniliowy łańcuch Markowa Monte Carlo (MCMC) używa tylko ostatniego stanu do ustalenia następnego stanu. Oznacza to, że masz równie duże szanse pójść naprzód, jak cofnąć się w przestrzeni, którą już zbadałeś.

MCMC może również dryfować poza głównym obszarem zainteresowania również w przestrzeniach o dużych wymiarach.

To sprawia, że ​​MCMC jest bardzo nieefektywny do celów integracji numerycznej w wielowymiarowej przestrzeni prawdopodobieństwa.

Jak HMC radzi sobie z tymi problemami

Dodając w ujęciu pędu, HMC sprawia, że ​​eksploracja przestrzeni prawdopodobieństwa jest bardziej wydajna, ponieważ teraz masz większe szanse na postęp z każdym krokiem w przestrzeni prawdopodobieństwa.

HMC korzysta również z poprawek Metropolis-Hastings, aby upewnić się, że pozostaje w regionie i bada region o większym prawdopodobieństwie.

Pisząc tę ​​odpowiedź, stwierdziłem, że ta prezentacja na HMC jest dość pouczająca.