Dlaczego pożądana jest niska autokorelacja w MCMC?

11

Ciągle czytam o potrzebie sprawdzenia autokorelacji w MCMC. Dlaczego ważne jest, aby autokorelacja była niska? Co mierzy w kontekście MCMC?

sampling autocorrelation mcmc

— Amelio Vazquez-Reina
źródło

3

W rzeczywistości, gdyby można było uzyskać wysoką ujemną autokorelację w próbniku MCMC, ten próbnik poprawiłby się po próbkowaniu iid. Jest to jednak bardzo rzadkie zjawisko ...

— Xi'an,

4

Autokorelacja jest miarą tego, jak bardzo wartość sygnału koreluje z innymi wartościami tego sygnału w różnych punktach czasowych. W kontekście MCMC autokorelacja jest miarą tego, jak niezależne są różne próbki od twojego rozkładu tylnego - niższa autokorelacja wskazująca na bardziej niezależne wyniki.

Gdy masz wysoką autokorelację, narysowane próbki nie przedstawiają dokładnie rozkładu tylnego i dlatego nie dostarczają istotnych informacji dla rozwiązania problemu. Innymi słowy, niższa autokorelacja oznacza wyższą wydajność w łańcuchach i lepsze oszacowania. Ogólna zasada jest taka, że im niższa jest twoja autokorelacja, tym mniej próbek potrzebujesz, aby metoda była skuteczna (ale może to być nadmierne uproszczenie).

— Henry Hammond
źródło

Nie mam dużego doświadczenia z MCMC, ale twoje ostatnie zdanie nie wydaje się zbyt uproszczone. Jeśli spojrzysz na wpływ automatycznych korelacji na twoje oszacowania błędów, zmienią one wartość z na gdzie to czas autokorelacji mierzony na tych samych obserwowalnychTak jak to jest tylko o "skuteczna pomiarowej zamiast . Czy w tym stwierdzeniu jest jeszcze trochę nadmiernego uproszczenia?

Δ A^{²} = \frac{Var A}{N}

$\Delta A^² = \frac{\text{Var} A}{N}$

Δ A^{²} = \frac{Var A}{N} (1 + 2 τ)

$\Delta A^² = \frac{\text{Var} A}{N}(1+2\tau)$

τ

$\tau$

A

$A$

\frac{N}{1 + 2 τ}

$\frac{N}{1+2\tau}$

N

$N$

— Nauka to bałagan

10

Po pierwsze i, co oczywiste, jeśli autokorelacja jest wysoka, wówczas N próbek nie podaje N informacji o twojej dystrybucji, ale jest ich mniej. Efektywny rozmiar próbki (ESS) to jedna miara tego, ile naprawdę otrzymujesz informacji (i jest funkcją parametru autokorelacji).

W związku z tym autokorelacja daje niereprezentatywne próbki „w krótkim okresie”. Co więcej, im więcej jest autokorelacji, tym dłuższy jest „krótki okres”. W przypadku bardzo silnej autokorelacji krótki okres może stanowić dobrą część wszystkich próbek. Zwykle bezpośrednimi środkami zaradczymi są ponowna parametryzacja lub parametry próbkowania, które powinny być ze sobą powiązane w blokach, a nie osobno, ponieważ w przeciwnym razie wygenerują autokorelację w łańcuchu. Ludzie często też są „szczupli”, chociaż toczy się dyskusja na temat tego, jak przydatne jest to w rozwiązaniu podstawowego problemu, np . Tutaj . Kass 1997 to nieformalna dyskusja na ten temat, chociaż prawdopodobnie jest coś nowszego, co inni mogą polecić.

Krótko mówiąc, silnie autokorelowany łańcuch zajmuje więcej czasu od przejścia od warunków początkowych do pożądanego rozkładu docelowego, przy czym jest mniej informacyjny i zajmuje więcej czasu, aby zbadać ten rozkład, gdy się tam pojawi.

— sprzężonyprior
źródło