Aktualizacja współczynnika Bayesa

Wartością współczynnika Bayesa jest zdefiniowana w Bayesa testowanie hipotez i wybór modelu Bayesowskiego przez stosunek dwóch krańcowych wiarogodności: podany Próbkę IID i odpowiednich gęstości próbkowania i , z odpowiednimi priorytetami i , współczynnikiem Bayesa do porównania dwóch modeli jest książka ja obecnie przeglądu ma dziwne stwierdzenie, że powyższy czynnik Bayesa $(x_1,\ldots,x_n)$ $f_1(x|\theta)$ $f_2(x|\eta)$ $\pi_1$ $\pi_2$

B_{12} (x_{1}, \dots, x_{n}) \overset{def}{=} \frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})} \overset{def}{=} \frac{\int \prod_{i = 1}^{n} f_{1} (x_{i} | θ) π_{1} (d θ)}{\int \prod_{i = 1}^{n} f_{2} (x_{i} | η) π_{2} (d η)}

$\mathfrak{B}_{12}(x_1,\ldots,x_n)\stackrel{\text{def}}{=}\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\stackrel{\text{def}}{=}\frac{\int \prod_{i=1}^n f_1(x_i|\theta)\pi_1(\text{d}\theta)}{\int \prod_{i=1}^n f_2(x_i|\eta)\pi_2(\text{d}\eta)}$

B_{12} (x_{1}, \dots, x_{n})

$\mathfrak{B}_{12}(x_1,\ldots,x_n)$ jest „utworzony przez pomnożenie poszczególnych [czynników Bayesa] razem” (str. 118). Jest to formalnie poprawne, jeśli używa się rozkładu ale nie widzę przewagi obliczeniowej w tym rozkładzie jak aktualizacja

wymaga takiego samego wysiłku obliczeniowego jak oryginalne obliczenie

\begin{aligned} B_{12} (x_{1}, \dots, x_{n}) & = \frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})} \\ = \frac{m_{1} (x_{n} | x_{1}, \dots, x_{n - 1})}{m_{2} (x_{n} | x_{1}, \dots, x_{n - 1})} \times \frac{m_{1} (x_{n - 1} | x_{n - 2}, \dots, x_{1})}{m_{2} (x_{n - 1} | x_{n - 2}, \dots, x_{1})} \times \dots \\ \dots \times \frac{m_{1} (x_{1})}{m_{2} (x_{1})} \end{aligned}

$\begin{align*}\mathfrak{B}_{12}(x_1,\ldots,x_n)&=\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\\&=\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}\times \frac{m_1(x_{n-1}|x_{n-2},\ldots,x_1)}{m_2(x_{n-1}|x_{n-2},\ldots,x_1)}\times\cdots\\&\qquad\cdots\times\frac{m_1(x_1)}{m_2(x_1)}\end{align*}$

\frac{m_{1} (x_{n} | x_{1}, \dots, x_{n - 1})}{m_{2} (x_{n} | x_{1}, \dots, x_{n - 1})}

$\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}$

\frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})}

$\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}$ poza przykładami sztucznych zabawek.

Pytanie: Czy istnieje ogólny i wydajny obliczeniowo sposób aktualizacji współczynnika Bayesa z $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ do $\mathfrak{B}_{12}(x_1,\ldots,x_{n+1})$ , który nie wymaga przeliczenia całego marginesu $m_1(x_1,\ldots,x_n)$ i $m_2(x_1,\ldots,x_n)$ ?

Moją intuicją jest to, że oprócz filtrów cząstek, które rzeczywiście postępują zgodnie z oszacowaniami czynników Bayesa $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ jedna nowa obserwacja na raz, nie ma naturalnego sposobu odpowiedzi na to pytanie .

— Xi'an
źródło

Nie wydaje mi się jasne, że to sformułowanie oznacza koniecznie sekwencjonowanie , ponieważ obserwacje są przedstawione. Podczas nauki w szkole profesor wspomniał, że produkt sugeruje, że można zastosować asymptotyczne aproksymacje do analiz bayesowskich, ale o dziwo to się nie przyjęło (sarkazm). Być może książka może to sugerować?

— Cliff AB

@CliffAB: Tak, możesz przepisać prawdopodobieństwo jako średnią poszczególnych terminów, zbliżając się do odległości Kullbacka-Leiblera od prawdziwego rozkładu. Ale nie sądzę, że tak jest, mimo że książka jest na tyle niejasna, że wszystkie opcje są otwarte.

— Xi'an,

Wydaje mi się, że w drugim wyświetlanym równaniu jest literówka: czy w drugim czynniku w drugim wierszu powinno być

m_{1} (x_{n - 1} | x_{n - 1}, \dots, x_{1})

$m_1(x_{n-1}|x_{n-1}, \ldots, x_1)$

— jochen

Przypuszczalnie celem równania rekurencyjnego dla współczynnika Bayesa byłoby, gdy już obliczyłeś współczynnik Bayesa dla punktów danych, i chcesz móc to zaktualizować o jeden dodatkowy punkt danych. Wydaje się, że można to zrobić bez ponownego obliczenia marginesów poprzedniego wektora danych, o ile znana jest postać funkcji tylnej . Zakładając, że znamy postać tej funkcji (i zakładając dane IID jak w twoim pytaniu), gęstość predykcyjna może być zapisana jako: $n$ $\pi_n$

\begin{aligned} m (x_{n + 1} | x_{1}, . . ., x_{n}) & = \int_{Θ} f (x_{n + 1} | θ) π_{n} (d θ | x_{1}, . . ., x_{n}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_{n+1} | x_1,...,x_n) &= \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

Dlatego masz:

\begin{aligned} m (x_{1}, . . ., x_{n + 1}) & = m (x_{1}, . . ., x_{n}) \int_{Θ} f (x_{n + 1} | θ) π_{n} (d θ | x_{1}, . . ., x_{n}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_1,...,x_{n+1}) &= m(x_1,...,x_n) \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

Porównując dwie klasy modeli za pomocą współczynnika Bayesa, otrzymujemy równanie rekurencyjne:

\begin{aligned} B_{12} (x_{1}, . . ., x_{n + 1}) & = B_{12} (x_{1}, . . ., x_{n}) \cdot \frac{\int_{Θ_{1}} f (x_{n + 1} | θ) π_{1, n} (d θ | x_{1}, . . ., x_{n})}{\int_{Θ_{2}} f (x_{n + 1} | θ) π_{2, n} (d θ | x_{1}, . . ., x_{n})} . \end{aligned}

$\begin{equation} \begin{aligned} \mathfrak{B}_{12}(x_1,...,x_{n+1}) &= \mathfrak{B}_{12}(x_1,...,x_{n}) \cdot \frac{\int _{\Theta_1} f(x_{n+1}|\theta) \pi_{1,n}(d \theta | x_1,...,x_n)}{\int _{\Theta_2} f(x_{n+1}|\theta) \pi_{2,n}(d \theta | x_1,...,x_n)}. \\[6pt] \end{aligned} \end{equation}$

Wciąż obejmuje to integrację w zakresie parametrów, więc zgadzam się z twoim poglądem, że nie wydaje się, aby istniała jakaś przewaga obliczeniowa w porównaniu z ponownym obliczeniem współczynnika Bayesa za pomocą początkowej formuły, którą podałeś. Niemniej jednak widać, że nie wymaga to ponownego obliczenia marginesów dla poprzedniego wektora danych. (Zamiast tego obliczamy gęstości predykcyjne nowego punktu danych w zależności od poprzednich danych, w ramach każdej z klas modeli.) Tak jak ty, tak naprawdę nie widzę żadnej przewagi obliczeniowej, chyba że zdarza się, że ta integralna formuła łatwo się upraszcza. W każdym razie, jak sądzę, daje to inną formułę do aktualizacji współczynnika Bayesa.

— Ben - Przywróć Monikę
źródło

Dziękuję Ci. To prawda, że marginesy nie muszą być ponownie obliczane, ściśle sensu , ale ilość obliczeń wydaje się być taka sama, jak zauważasz.

— Xi'an

Jedyną zaletą, o której mogę myśleć, jest to, że ponieważ teraz integrujemy się tylko w ramach jednej gęstości (zamiast iloczynu gęstości), integrand będzie mniej zmienny, a więc ta druga formuła może ułatwić uniknięcie problemów z niedopełnieniem w obliczenie. To wszystko może być jednak duże.

n

$n$

— Ben - Przywróć Monikę