Tak. W przeciwieństwie do innych odpowiedzi, „typowe” metody uczenia maszynowego, takie jak nieparametryczne i (głębokie) sieci neuronowe, mogą pomóc w tworzeniu lepszych samplerów MCMC.
Celem MCMC jest pobranie próbek z (nienormalizowanego) rozkładu docelowego . Uzyskane próbki są używane do przybliżenia i najczęściej pozwalają obliczyć oczekiwania funkcji dla (tj. Całki wielowymiarowe), a w szczególności właściwości (takie jak momenty).fa( x )fafafa
Próbkowanie zwykle wymaga dużej liczby ocen i ewentualnie jego gradientu, dla metod takich jak Hamiltonian Monte Carlo (HMC). Jeśli ocena jest kosztowna lub gradient jest niedostępny, czasami można zbudować tańszą funkcję zastępczą, która może pomóc w próbkowaniu i jest oceniana zamiast (w sposób, który nadal zachowuje właściwości MCMC).fafafa
Na przykład w artykule podsumowującym ( Rasmussen 2003 ) proponuje się wykorzystanie Procesów Gaussa (aproksymacja funkcji nieparametrycznej) do zbudowania aproksymacji do i wykonania HMC dla funkcji zastępczej, z jedynie etapem akceptacji / odrzucenia HMC na podstawie . Zmniejsza to liczbę ocen oryginalnego i pozwala wykonać MCMC na plikach pdf, które w innym przypadku byłyby zbyt drogie do oceny.logfafafa
Pomysł wykorzystania surogatów w celu przyspieszenia MCMC był często badany w ciągu ostatnich kilku lat, zasadniczo poprzez wypróbowanie różnych sposobów budowy funkcji zastępczej i łączenia jej efektywnie / adaptacyjnie z różnymi metodami MCMC (i w sposób, który zachowuje poprawność „pobierania próbek MCMC). W związku z pytaniem te dwa najnowsze artykuły wykorzystują zaawansowane techniki uczenia maszynowego - losowe sieci ( Zhang i in. 2015 ) lub adaptacyjnie poznane wykładnicze funkcje jądra ( Strathmann i in. 2015 ) - do zbudowania funkcji zastępczej.
HMC nie jest jedyną formą MCMC, która może korzystać z surogatów. Na przykład Nishiara i in. (2014) zbuduj aproksymację docelowej gęstości, dopasowując wielowymiarowy rozkład Studenta do stanu wielołańcuchowego zespołu próbkującego zestaw, i użyj go do wykonania uogólnionej formy eliptycznego próbkowania wycinka .t
To tylko przykłady. Ogólnie rzecz biorąc, do wyodrębnienia informacji, które mogłyby poprawić wydajność próbników MCMC, można użyć szeregu różnych technik ML (głównie w zakresie aproksymacji funkcji i szacowania gęstości) . Ich faktyczna użyteczność - np. Mierzona liczbą „skutecznych niezależnych próbek na sekundę” - zależy od tego, czy jest kosztowny lub nieco trudny do obliczenia; ponadto wiele z tych metod może wymagać dostrajania własnej lub dodatkowej wiedzy, co ogranicza ich zastosowanie.fa
Referencje:
Rasmussen, Carl Edward. „Procesy gaussowskie przyspieszające hybrydowe Monte Carlo dla drogich całek bayesowskich”. Bayesian Statistics 7. 2003.
Zhang, Cheng, Babak Shahbaba i Hongkai Zhao. „Przyspieszenie Hamiltonian Monte Carlo za pomocą funkcji zastępczych z losowymi zasadami”. nadruk arXiv arXiv: 1506.05555 (2015).
Strathmann, Heiko i in. „Bez gradientu Hamiltonian Monte Carlo z wydajnymi rodzinami wykładniczymi jądra”. Postępy w systemach przetwarzania informacji neuronowych. 2015 r.
Nishihara, Robert, Iain Murray i Ryan P. Adams. „Równoległe MCMC z uogólnionym eliptycznym próbkowaniem wycinków”. Journal of Machine Learning Research 15.1 (2014): 2087-2112.