W wnioskowaniu bayesowskim, dlaczego niektóre terminy są odrzucane z późniejszej predykcji?

12

W koniugacie Bayesa z analizą bayesowską Kevina Murphy'ego rozkładu Gaussa pisze, że tylna dystrybucja predykcyjna jest

p (x ∣ D) = \int p (x ∣ θ) p (θ ∣ D) d θ

$p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta$

gdzie to dane, na których model jest dopasowany, a to dane niewidoczne. Nie rozumiem, dlaczego zależność od znika w pierwszym członie całki. Stosując podstawowe zasady prawdopodobieństwa, spodziewałbym się: $D$ $x$ $D$

\begin{aligned} p (a) & = \int p (a ∣ c) p (c) d c \\ p (a ∣ b) & = \int p (a ∣ c, b) p (c ∣ b) d c \\ ↓ \\ p (x ∣ D) & = \int \overset{⋆}{\overset{⏞}{p (x ∣ θ, D)}} p (θ ∣ D) d θ \end{aligned}

$\begin{align} p(a) &= \int p(a \mid c) p(c) dc \\ p(a \mid b) &= \int p(a \mid c, b) p(c \mid b) dc \\ &\downarrow \\ p(x \mid D) &= \int \overbrace{p(x \mid \theta, D)}^{\star} p(\theta \mid D) d \theta \end{align}$

Pytanie: Dlaczego zanika zależność od w wyrażeniu ? $D$ $\star$

Za to, co jest warte, widziałem tego rodzaju sformułowanie (upuszczanie zmiennych w warunkowych) w innych miejscach. Na przykład w Bayesian Online Changepoint Detection Ryana Adama pisze późniejszą metodę predykcyjną jako

p (x_{t + 1} ∣ r_{t}) = \int p (x_{t + 1} ∣ θ) p (θ ∣ r_{t}, x_{t}) d θ

$p(x_{t+1} \mid r_t) = \int p(x_{t+1} \mid \theta) p(\theta \mid r_{t}, x_{t}) d \theta$

gdzie znowu, ponieważ , oczekiwałbym $D = \{x_t, r_t\}$

p (x_{t + 1} ∣ x_{t}, r_{t}) = \int p (x_{t + 1} ∣ θ, x_{t}, r_{t}) p (θ ∣ r_{t}, x_{t}) d θ

$p(x_{t+1} \mid x_t, r_t) = \int p(x_{t+1} \mid \theta, x_t, r_t) p(\theta \mid r_{t}, x_{t}) d \theta$

— gwg
źródło

13

Jest to oparte na założeniu, że jest warunkowo niezależny od , biorąc pod uwagę . Jest to rozsądne założenie w wielu przypadkach, ponieważ wszystko, co mówi, to to, że dane szkoleniowe i testowe (odpowiednio i ) są generowane niezależnie z tego samego zestawu nieznanych parametrów . Biorąc pod uwagę to założenie niezależności, , więc wypada z bardziej ogólnej formy, jakiej się spodziewałeś. $x$ $D$ $\theta$ $D$ $x$ $\theta$ $p(x|\theta,D)=p(x|\theta)$ $D$

W drugim przykładzie wydaje się, że zastosowano podobne założenie dotyczące niezależności, ale teraz (wyraźnie) w czasie. Założenia te mogą być wyraźnie określone w innym miejscu w tekście lub mogą być domyślnie jasne dla każdego, kto jest wystarczająco zaznajomiony z kontekstem problemu (chociaż niekoniecznie oznacza to, że w twoich konkretnych przykładach - z którymi nie jestem zaznajomiony - autorzy mieli rację przyjmując tę znajomość).

— Ruben van Bergen
źródło

9

Jest tak, ponieważ zakłada się , że jest niezależny od biorąc pod uwagę . Innymi słowy, zakłada się, że wszystkie dane pochodzą z rozkładu normalnego z parametrami . Po uwzględnieniu przy użyciu informacji z , nie ma już żadnych informacji, które daje nam o nowym punkcie danych . Dlatego . $x$ $D$ $\theta$ $\theta$ $\theta$ $D$ $D$ $x$ $p(x|\theta, D) = p(x|\theta)$

— JP Trawiński
źródło