Bayesowskie wykrywanie punktów wymiany w Internecie (marginalny rozkład predykcyjny)

Czytam internetowy dokument wykrywający punkt wymiany w Bayesian przez Adamsa i MacKaya ( link ).

Autorzy zaczynają od napisania krańcowego rozkładu predykcyjnego: gdzie

$$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1)$$

• $x_t$ jest obserwacją w czasie ;$t$
• $\textbf{x}_{1:t}$ oznacza zestaw obserwacji do czasu ;$t$
• $r_t \in \mathbb{N}$ to bieżąca długość przebiegu (czas od ostatniego punktu zmiany, może wynosić 0); i
• $\textbf{x}_t^{(r)}$ to zestaw obserwacji związanych z uruchomieniem .$r_t$

Równ. 1 jest formalnie poprawny (patrz odpowiedź poniżej autorstwa @JuhoKokkala), ale rozumiem, że jeśli chcesz faktycznie przewidzieć , musisz go rozwinąć w następujący sposób:$x_{t+1}$

$$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t, r_{t+1}} P(x_{t+1} | r_{t+1}, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) P(r_{t+1} | r_t) \qquad (1\text{b})$$

Moje rozumowanie jest takie, że może istnieć punkt wymiany w (przyszłym) czasie , ale tylna obejmuje tylko do .$t+1$$P(r_t | \textbf{x}_{1:t})$$t$

Chodzi o to, że autorzy artykułu robią z Eq. 1 jak jest (patrz równania 3 i 11 w pracy), a nie 1b. Pozornie więc ignorują możliwość zmiany punktu w czasie gdy przewidują podstawie danych dostępnych w czasie . Na początku części 2 mówią en passant$t+1$$x_{t+1}$$t$

Zakładamy, że możemy obliczyć rozkład predykcyjny [dla ] od danej długości przebiegu .$x_{t+1}$$r_t$

i być może jest to sztuczka. Ale ogólnie ten rozkład predykcyjny powinien wyglądać podobnie do równania. 1b; co nie jest tym, co robią (równ. 11).

Nie jestem więc pewien, czy rozumiem, co się dzieje. Być może z notacją dzieje się coś śmiesznego.

---

Odniesienie

• Adams, RP i MacKay, DJ (2007). Bayesian wykrywanie punktów wymiany w Internecie. nadruk arXiv arXiv: 0710.3742.

Zarówno (1), jak i (1b) są poprawne. OP ma rację, że (w tym modelu) może istnieć punkt wymiany na$t+1$, i $x_{t+1}$zależy od tego, czy istnieje punkt wymiany. Nie oznacza to żadnych problemów z (1) jako możliwymi wartościami$r_{t+1}$ są w pełni „objęte” przez $P(x_{t+1} \mid r_t, x_{1:t})$. $P(x_{t+1} | r_t, x_{1:t})$ oznacza rozkład warunkowy $x_{t+1}$ uwarunkowane $(r_t, x_{1:t})$. Ta warunkowa dystrybucja uśrednia dla „wszystkiego innego”, w tym$r_{t+1}$, pod warunkiem $(r_t, x_{1:t})$. Tak jak można napisać, powiedzmy,$P(x_{t+1000} | x_t)$, który uwzględniałby wszystkie możliwe konfiguracje punktów wymiany, a także wartości $x_i$występuje między $t$ i $t+1000$.

W pozostałej części najpierw wyprowadzam (1), a następnie (1b) na podstawie (1).

Wyprowadzenie (1)

Dla dowolnych zmiennych losowych $A,B,C$, mamy

$$\begin{equation} P(A \mid B) = \sum_c P(A \mid B, C=c)\,P(C=c \mid B), \end{equation}$$ tak długo jak $C$jest dyskretny (w przeciwnym razie suma musi zostać zastąpiona całką). Stosując to do$x_{t+1},x_{1:t},r_t$:

$$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x_{1:t})\,P(r_t \mid x_{1:t}), \end{equation}$$ która ma znaczenie bez względu na zależności między $r_t$, $x_{1:t}$, $x_{t+1}$to znaczy, że nie zastosowano jeszcze założeń modelowych. W obecnym modelu$x_{t+1}$ dany $r_t,x^{(r)}_t$ zakłada się, że * jest warunkowo niezależny od wartości $x$ z biegów wcześniej $x^{(r)}_t$. To implikuje$P(x_{t+1} \mid r_t, x_{1:t}) = P(x_{t+1} \mid r_t, x^{(r)}_t)$. Zastępując to poprzednim równaniem, otrzymujemy

$$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x^{(r)}_t)\,P(r_t \mid x_{1:t}), \qquad \qquad \qquad (1) \end{equation}$$ który jest (1) w OP.

Wyprowadzenie (1b)

Rozważmy rozkład $P(x_{t+1} \mid r_t, x^{(r)}_t)$ ponad możliwe wartości $r_{t+1}$:

$$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)P(r_{t+1} \mid r_t, x^{(r)}_t). \end{equation}$$

Ponieważ zakłada się *, czy punkt zmiany występuje w $t+1$ (pomiędzy $x_t$ i $x_{t+1}$) does not depend on the history of $x$, we have $P(r_{t+1} \mid r_t, x^{(r)}_t) = P(r_{t+1} \mid r_t)$. Furthermore, since $r_{t+1}$ determines whether $x_{t+1}$ belongs into the same run as $x_t$, we have $P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)=P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)$. Substituting these two simplifications into the factorization above, we get

$$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t). \end{equation}$$ Substituting this into (1), we get $$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} \left(\sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t)\right)\,P(r_t \mid x_{1:t}), \qquad (1b) \end{equation}$$ which is OP's (1b).

* Remark on the model's conditional independence assumptions

Based on quickly browsing the paper, I would personally like the conditional independence properties to be more explicitly stated somewhere, but I suppose that the intention is that $r$ is Markovian and the $x$:s associated to different runs are independent (given the runs).