Czy mogę podpróbkować duży zestaw danych przy każdej iteracji MCMC?

Problem: Chcę wykonać próbkowanie Gibbsa, aby wywnioskować trochę z tyłu na podstawie dużego zestawu danych. Niestety mój model nie jest bardzo prosty, dlatego próbkowanie jest zbyt wolne. Rozważałbym podejścia wariacyjne lub równoległe, ale zanim przejdę tak daleko ...

Pytanie: Chciałbym wiedzieć, czy mógłbym losowo próbować (z zastępstwem) z mojego zbioru danych przy każdej iteracji Gibbs, aby mieć mniej instancji do nauki na każdym kroku.

Moją intuicją jest to, że nawet gdybym zmienił próbki, nie zmieniłbym gęstości prawdopodobieństwa i dlatego próbka Gibbsa nie powinna zauważyć sztuczki. Czy mam rację? Czy są jakieś odniesienia do osób, które to zrobiły?

— Alberto
źródło

Nawiasem mówiąc: innym pomysłem byłoby wykonanie wielu analiz na losowych podpróbkach dużego zestawu danych. W ten sposób możesz również zweryfikować krzyżowo.

— przypuszcza

Nie mogę odpowiedzieć na żadne dokładne pytanie z żadnym autorytetem (chociaż podejrzewam, że po prostu zwiększysz błąd przybliżenia, który pojawia się w Monte Carlo), smutna prawda jest taka, że jest to po prostu niefortunny aspekt analiz Bayesian MCMC: są obliczeniowo kosztowny. Komentarz @conjectures to świetny pomysł, ale tak naprawdę nie stanowi sedna problemu: wyciągnięcie wszystkich próbek dla każdej osoby jest zbyt drogie. Radzę napisać własny kod C do ciężkiej pracy (Rcpp w R, Cython w Python itp.), A także równolegle (gdy nie ma zależności od gałęzi).

@conjectures To brzmi jak worek małych butów Michaela Jordana.

— jaradniemi

Sugerowałbym zmianę twojego samplera, aby całkowicie uniknąć ukrytego rozszerzenia zmiennej. Nie będziesz już miał samplera Gibbsa, ale algorytm Metropolis-Hastings z propozycją opartą na normalnym przybliżeniu prawdopodobieństwa powinien działać dobrze. Patrz sekcja 16.4 2. wydania analizy danych bayesowskich.

— jaradniemi

Jest to obszar aktywnych badań, których nie znam na tyle dobrze, aby dokładnie dla was podsumować. Patrz na przykład jmlr.org/proceedings/papers/v32/bardenet14.pdf i arxiv.org/pdf/1304.5299v4.pdf

— Andrew M oceniają

O strategiach podpróbkowania: na przykład rozważmy dwie obserwacje i i rozważmy niektórym priorytetom znaczenia i zmienność. Niech , a następnie chcemy ocenić to COnsider teraz zmienna dwumianowa . Jeśli wybraliśmy , jeśli wybraliśmy , nowy tylny to gdzie $X_1 \sim N(\mu_1, \sigma_1^2)$ $X_2 \sim N(\mu_2,\sigma_2^2)$ $\theta = (\mu_1, \mu_2, \sigma_1^2, \sigma_2^2)$

f (θ | X_{1}, X_{2}) \propto f (X_{1} | θ) f (X_{2} | θ) f (θ)

$f(\theta|X_1, X_2) \propto f(X_1|\theta)f(X_2 | \theta)f(\theta)$

δ \sim B (0.5)

$\delta \sim B(0.5)$

δ = 0

$\delta=0$

X_{1}

$X_1$

δ = 1

$\delta =1$

X_{2}

$X_2$

f (θ, δ | X_{1}, X_{2}) \propto f (X_{1}, X_{2} | δ, θ) f (θ) f (δ)

$f(\theta, \delta|X_1, X_2) \propto f(X_1, X_2|\delta,\theta)f(\theta)f(\delta)$

f (X_{1}, X_{2} | δ, θ) = f (X_{1} | θ)^{δ} f (X_{2} | θ)^{1 - δ}

$f(X_1, X_2|\delta,\theta) = f(X_1|\theta)^{\delta} f(X_2|\theta)^{1-\delta}$ i . Teraz, jeśli chcesz próbki z etapu Gibbs trzeba, aby obliczyć i bo . Jeśli w przeciwnym razie użyjesz Metropolis Hastings, to zaproponujesz nowy stan i musisz obliczyć tylko jeden między i , ten związany z proponowanymi stanami, ale ty trzeba obliczyć jeden między i

f (δ) = 0.5

$f(\delta) = 0.5$

δ

$\delta$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

P (δ = 1) = \frac{f (X_{1} | θ)}{f (X_{1} | θ) + f (X_{2} | θ)}

$P(\delta=1)= \frac{f(X_1|\theta) }{f(X_1|\theta) +f(X_2|\theta) }$

δ^{*}

$\delta^*$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$ nawet dla ostatniego zaakceptowanego stanu . Nie jestem więc pewien, czy metropolia da ci jakąś przewagę. Ponadto rozważamy tutaj proces dwuwariantowy, ale w przypadku procesu wielowymiarowego próbkowanie może być bardzo skomplikowane w przypadku metropolii.

δ

$\delta$

δ

$\delta$

— niandra82
źródło