W jaki sposób wystarczalność bayesowska odnosi się do wystarczającej częstotliwości?

9

Najprostsza definicja wystarczającej statystyki w perspektywie częstokrzyskiej znajduje się tutaj w Wikipedii . Ostatnio natknąłem się jednak na książkę bayesowską z definicją . W linku stwierdzono, że oba są równoważne, ale nie rozumiem, jak to zrobić. Również na tej samej stronie w sekcji „Inne typy wystarczalności” stwierdzono, że obie definicje nie są równoważne w przestrzeniach nieskończenie wymiarowych ... $P(\theta|x,t)=P(\theta|t)$

W jaki sposób wystarczalność predykcyjna odnosi się do wystarczalności klasycznej?

bayesian mathematical-statistics sufficient-statistics

— Stary człowiek na morzu.
źródło

4

Jeśli statystyki są wystarczające w sposób częsty, to , więc $T$ $p(\mathbf{x} \mid \theta, t) = p(\mathbf{x} \mid t)$

\begin{aligned} p (θ ∣ x, t) & = \frac{p (x ∣ t, θ) p (t ∣ θ) p (θ)}{p (x ∣ t) p (t)} \\ (freq. suff.) & = \frac{p (t ∣ θ) p (θ)}{p (t)} \\ = p (θ ∣ t) . \end{aligned}

$\begin{align*} p(\theta \mid \mathbf{x}, t) &= \frac{p(\mathbf{x}\mid t,\theta)p(t \mid \theta) p(\theta)}{p(\mathbf{x}\mid t)p(t)} \\ &= \frac{p(t \mid \theta) p(\theta)}{p(t)} \tag{freq. suff.}\\ &= p(\theta \mid t). \end{align*}$

Z drugiej strony, jeśli jest wystarczający na sposób bayesowski, to $T$

\begin{aligned} p (x ∣ θ, t) & = \frac{p (x, θ, t)}{p (θ, t)} \\ = \frac{p (θ ∣ x, t) p (x, t)}{p (θ ∣ t) p (t)} \\ (Bayesian suff.) & = \frac{p (x, t)}{p (t)} \\ = p (x ∣ t) . \end{aligned}

$\begin{align*} p(\mathbf{x} \mid \theta, t) &= \frac{p(\mathbf{x}, \theta,t)}{p(\theta,t)}\\ &= \frac{p(\theta \mid \mathbf{x},t) p(\mathbf{x},t)}{p(\theta\mid t)p(t)}\\ &= \frac{p(\mathbf{x},t)}{p(t)} \tag{Bayesian suff.}\\ &= p(\mathbf{x} \mid t). \end{align*}$

Co do „wystarczalności predykcyjnej”, co to jest?

Edycja: Jeśli masz wystarczającą bayesowską, masz wystarczającą predyktywność:

\begin{aligned} p (x^{'} ∣ x) & = \int p (x^{'} ∣ θ) p (θ ∣ x) re θ \\ (Bayesian suff.) & = \int p (x^{'} ∣ θ) p (θ ∣ t) re θ \\ = p (x^{'} ∣ t) . \end{aligned}

$\begin{align*} p(\mathbf{x}' \mid \mathbf{x}) &= \int p(\mathbf{x}' \mid \theta)p(\theta \mid \mathbf{x}) d\theta\\ &= \int p(\mathbf{x}' \mid \theta) p(\theta \mid t)d\theta \tag{Bayesian suff.}\\ &= p(\mathbf{x}' \mid t). \end{align*}$

— Taylor
źródło

1

Taylor, jest zdefiniowany w tym samym linku, poniżej w sekcji Bayesian Sufficiency.

— Stary człowiek na morzu.

3

Kilka lat temu natrafiliśmy na ciekawe zjawisko podczas badania wyboru modelu bayesowskiego za pomocą ABC. Myślę, że wiąże się to z tym pytaniem. Istnieje rzeczywiście pojęcie wystarczalności dla wyboru modelu bayesowskiego, które nie wydaje się szczególnie znaczące poza podejściem bayesowskim.

Biorąc pod uwagę dwa modele i i próbka z jednego z tych dwóch modeli, statystyka jest wystarczająca do wyboru modelu lub dla różnych modeli w rozkładzie zależny od nie zależy od indeksu modelu (1 lub 2) ani wartości parametru w modelu.

{M.}_{1} = {{fa}_{θ} (\cdot); θ \in Θ}

$\mathfrak{M}_1=\{f_\theta(\cdot); \theta\in\Theta\}$

{M.}_{2)} = {{sol}_{ξ} (\cdot); ξ \in Ξ}

$\mathfrak{M}_2=\{g_\xi(\cdot); \xi\in\Xi\}$

x = (x_{1}, \dots, x_{n})

$\mathbf{x}=(x_1,\ldots,x_n)$

S

$S$

X

$\mathbf{X}$

S (X)

$S(\mathbf{X})$

Jeśli istnieją wystarczające statystyki, współczynnik Bayesa oparty na jest taki sam jak współczynnik Bayesa oparty na . Chociaż jest to definicja sama w sobie nie bayesowska, nie widzę bezpośredniego zastosowania poza wyborem modelu bayesowskiego. $\mathbf{X}$ $S(\mathbf{X})$

— Xi'an
źródło