Dlaczego konieczne jest pobieranie próbek z rozkładu tylnego, jeśli już WIEMY rozkład tylny?

Rozumiem, że stosując podejście bayesowskie do szacowania wartości parametrów:

Rozkład tylny jest kombinacją rozkładu wcześniejszego i rozkładu prawdopodobieństwa.
Symulujemy to, generując próbkę z rozkładu tylnego (np. Przy użyciu algorytmu Metropolis-Hasting do generowania wartości i akceptujemy je, jeśli przekraczają pewien próg prawdopodobieństwa przynależności do rozkładu tylnego).
Po wygenerowaniu tej próbki używamy jej do przybliżenia rozkładu tylnej części ciała i takich rzeczy, jak jej średnia.

Ale czuję, że muszę coś nie rozumieć. Wygląda na to, że mamy rozkład tylny, a następnie próbkujemy z niego, a następnie wykorzystujemy tę próbkę jako przybliżenie rozkładu tylnego. Ale jeśli mamy rozkład tylny na początek, dlaczego musimy go pobrać, aby go przybliżyć?

— Dave
źródło

To pytanie zostało prawdopodobnie rozważone już na tym forum.

Kiedy mówisz, że „masz rozkład tylny”, co dokładnie masz na myśli? „Posiadanie” funkcji , którą znam jest proporcjonalna do tylnej, a mianowicie na przykład całkowicie sztuczny cel $\theta$

π (θ | x) \propto π (θ) \times fa (x | θ)

$\pi(\theta|x) \propto \pi(\theta) \times f(x|\theta)$

nie mówi mi, co jest

π (θ | x) \propto \exp {- | | θ - x | |^{2)} - | | θ + x | |^{4} - | | θ - 2) x | |^{6}}, x, θ \in R^{18},

$\pi(\theta|x)\propto\exp\{-||\theta-x||^2-||\theta+x||^4-||\theta-2x||^6\},\ \ x,\theta\in\mathbb{R}^{18},$

późniejsze oczekiwanie funkcji , np. , średnia tylna działająca jako estymator bayesowski przy standardowych stratach; $\theta$ $\mathbb{E}[\mathfrak{h}(\theta)|x]$
optymalna decyzja w ramach dowolnej funkcji użyteczności, decyzja, która minimalizuje oczekiwaną utratę tylnej;
90% lub 95% przedział niepewności parametru (ów), subwektor parametru (ów) lub funkcja parametru (ów), czyli region HPD ${h = h (θ); π^{h} (h) \geq \underline{h}}$ $\{h=\mathfrak{h}(\theta);\ \pi^\mathfrak{h}(h)\ge \underline{h}\}$
najbardziej prawdopodobny model do wyboru między ustawieniem niektórych składników parametru (parametrów) na określone wartości a utrzymaniem ich nieznanych (i losowych).

To tylko przykłady wielu zastosowań rozkładu tylnego. We wszystkich przypadkach, z wyjątkiem najprostszych, nie mogę udzielić odpowiedzi, wpatrując się w gęstość dystrybucji tylnej i muszę przejść przez rozdzielczości numeryczne, takie jak metody Monte Carlo z łańcuchem Monte Carlo i Markowa.

— Xi'an
źródło

Dziękuję bardzo za odpowiedź Xi'an. Jestem pewien, że to odpowiada na moje pytanie, ale wciąż mam trochę trudności z jego zrozumieniem. Czy mam rację, że mamy funkcję gęstości prawdopodobieństwa odpowiadającą a posteriori (tj. Przez połączenie wcześniejszego i prawdopodobieństwa)? Dlaczego nie mogliśmy znaleźć 95% CI bezpośrednio na podstawie tego, a nie na podstawie próbki tylnej dystrybucji?

— Dave

@Dave Myślę, że kluczem jest tutaj to, co rozumiesz przez „mieć”. Ogólnie rzecz biorąc, nie będziesz mieć rozwiązania w formie zamkniętej, więc nie będziesz miał „funkcji” w użytecznym znaczeniu.

— mnich

@monk dzięki za odpowiedź! Zastanawiasz się nad tym, co stanowi rozwiązanie w formie zamkniętej?

— Dave

Załóżmy, że twój przeor to Beta (a, b), a prawdopodobieństwo to Dwumianowe (n, p). Jak obliczyć oczekiwaną wartość swojego tylnego? Spróbuj opracować całkę tego produktu za pomocą pióra i papieru. Ogólnie rzecz biorąc, taka całka będzie wymagała od komputera uzyskania dokładnej wartości. Alternatywnie, możesz odkryć, że Beta jest sprzężona przed Binomialem, a zatem tylna będzie Beta (z łatwo obliczalnymi parametrami). Ale często nie będziesz miał takiego szczęścia. Określenie definicji „formy zamkniętej” jest trudne i warte samodzielnego przeczytania.

— mnich

Tak, możesz mieć analityczny rozkład boczny. Ale rdzeniem analizy bayesowskiej jest marginalizacja względem tylnego rozkładu parametrów, aby uzyskać lepszy wynik przewidywania zarówno pod względem dokładności, jak i możliwości generalizacji. Zasadniczo chcesz uzyskać rozkład predykcyjny, który ma następującą postać.

$p(x|D)=\int p(x|w) p(w|D)dw$

$p(w|D)$ $p(w|D)$ $p(x|w)$

— Karlsson Yu
źródło