Hamiltonian Monte Carlo vs. Sekwencyjny Monte Carlo

Próbuję poznać względne zalety i wady, a także różne domeny zastosowań tych dwóch schematów MCMC.

Kiedy skorzystasz z którego i dlaczego?
Kiedy jedno może zawieść, a drugie nie (np. Gdzie ma zastosowanie HMC, ale nie SMC i odwrotnie)
Czy jeden, bardzo naiwnie przyznany, może nałożyć miarę użyteczności na jedną metodę w porównaniu z drugą (tj. Czy jedna jest na ogół lepsza )?

Obecnie czytam doskonały artykuł Betancourt na temat HMC .

— Astrid
źródło

SMC nie jest techniką MCMC, tzn. Nie ma łańcucha Markowa, który byłby konstruowany przy użyciu SMC.

— jaradniemi

Czasami używasz mcmc w smc. A czasami używasz smc w mcmc. W chwili pisania tego artykułu nie znam żadnych dokumentów, które łączą użycie hmc i smc.

— Taylor,

Sam chciałbym lepiej zrozumieć związek między SMC (aka, filtrowanie cząstek) a HMC. Dzięki za pytanie! Zwracam uwagę na ten dokument, który na pierwszy rzut oka wydaje się reprezentować pewnego rodzaju połączenie dwóch podejść: arxiv.org/pdf/1504.05715v2.pdf

— David C. Norris,

Hamiltonian Monte Carlo osiąga dobre wyniki przy ciągłym rozkładzie celów o „dziwnych” kształtach. Wymaga to rozróżnienia celu, ponieważ w zasadzie używa nachylenia rozkładu celu, aby wiedzieć, gdzie iść. Idealnym przykładem jest funkcja w kształcie banana.

Oto standardowy Metropolis Hastings w funkcji Banana: Wskaźnik akceptacji 66% i bardzo słaby zasięg.

Oto z HMC: 99% akceptacji z dobrym zasięgiem.

P. (θ | y_{1}), P. (θ | y_{1}, y_{2)}), . . ., P. (θ | y_{1}, y_{2)}, . . ., y_{N.})

$P(\theta|y_1) \;,\; P(\theta|y_1,y_2)\;,\;... \;,\; P(\theta|y_1,y_2,...,y_N)$

Na przykład ta sekwencja jest doskonałym celem dla SMC:

Dzięki równoległemu charakterowi SMC jest szczególnie odpowiedni do przetwarzania rozproszonego / równoległego.

Podsumowanie:

HMC: dobre dla wydłużonego dziwnego celu. Nie działa z funkcją ciągłą.
SMC: dobre dla przypadków multimodalnych i nieciągłych. Może zbiegać się wolniej lub wykorzystywać większą moc obliczeniową dla dziwnych kształtów o dużych wymiarach.

Źródło: Większość zdjęć pochodzi z artykułu, który napisałem, łącząc 2 Metody (Hamiltonian Sequential Monte Carlo). Ta kombinacja może symulować praktycznie każdy rozkład, jaki możemy na nią rzucić, nawet przy bardzo dużych wymiarach.

— RemiDav
źródło

Ładne i jasne; +1. Nie mam pojęcia, dlaczego nie ma więcej pozytywnych opinii!

— arboviral

Oto artykuł dla zainteresowanych: remidaviet.com/files/HSMC-paper.pdf

— stackoverflax