Dobre samouczki Gibbs i samouczki

Chcę się dowiedzieć, jak działa Gibbs Sampling i szukam dobrego papieru podstawowego do średnio zaawansowanego. Mam wykształcenie informatyczne i podstawową wiedzę statystyczną.

Czy ktoś czytał wokół dobry materiał? gdzie się tego nauczyłeś?

Dzięki

Zacząłbym od:

Casella, George; George, Edward I. (1992). „ Objaśnienie samplera Gibbs ”. The American Statistician 46 (3): 167–174. ( DARMOWY PDF )

Streszczenie : Algorytmy intensywnie korzystające z komputera, takie jak sampler Gibbs, stały się coraz bardziej popularnymi narzędziami statystycznymi, zarówno w pracy stosowanej, jak i teoretycznej. Jednak właściwości takich algorytmów mogą czasami nie być oczywiste. Poniżej podajemy proste wyjaśnienie, w jaki sposób i dlaczego działa sampler Gibbs. Analitycznie ustalamy jego właściwości w prostym przypadku i zapewniamy wgląd w bardziej skomplikowane przypadki. Istnieje również wiele przykładów.

American Statistician jest często dobrym źródłem krótkich (wstępnych) artykułów wprowadzających, które nie zakładają żadnej wcześniejszej wiedzy na ten temat, choć zakładają, że masz podstawy w prawdopodobieństwie i statystykach, których można zasadnie oczekiwać od członka amerykańskiego Stowarzyszenie statystyczne .

Jednym z artykułów online, który naprawdę pomógł mi zrozumieć próbkowanie Gibbsa, jest estymacja parametrów do analizy tekstu autorstwa Gregora Heinricha. Nie jest to ogólny samouczek Gibbs dotyczący próbkowania, ale omawia się go w kategoriach ukrytego przydziału dirichleta, dość popularnego modelu bayesowskiego do modelowania dokumentów. Wchodzi w matematykę w szczegółach.

Jeszcze bardziej wyczerpującym szczegółem matematycznym jest Próbkowanie Gibbsa dla niewtajemniczonych . I mam na myśli wyczerpujący, ponieważ zakłada, że ​​znasz rachunek różniczkowy, a następnie określa każdy krok od tego momentu. Chociaż jest dużo matematyki, żadna z nich nie jest zaawansowana.

Zakładam, że przydadzą ci się bardziej niż coś, co pozwala uzyskać bardziej zaawansowane wyniki, takie jak te, które dowodzą, dlaczego próbkowanie Gibbs jest zbieżne z prawidłowym rozkładem. Odniesienia, które wskazuję, nie dowodzą tego.

Książka Monte Carlo Strategies in Scientific Computing jest doskonałym źródłem. Zajmuje się sprawami w matematycznie rygorystyczny sposób, ale możesz łatwo pominąć matematyczne sekcje, które Cię nie interesują, i nadal uzyskać mnóstwo praktycznych porad. Szczególnie dobrze łączy wiązanie próbek Metropolis-Hastings i Gibbs, co ma kluczowe znaczenie. W większości aplikacji konieczne jest rysowanie z tylnej dystrybucji przy użyciu próbkowania Gibbsa, dlatego pomocna jest wiedza o tym, jak pasuje ona do logiki Metropolis.