Czy dystrybucja beta ma wcześniej koniugat?

34

Wiem, że rozkład beta jest sprzężony z dwumianowym. Ale jaki jest koniugat przed wersją beta? Dziękuję Ci.

beta-distribution conjugate-prior

25

Wygląda na to, że już zrezygnowałeś z koniugacji. Dla przypomnienia, jedną z rzeczy, które widziałem, jak ludzie robią (ale nie pamiętam dokładnie, gdzie to jest, przepraszam) jest taka zmiana parametrów. Jeśli $X_1,\dots,X_n$ są warunkowo iid, podane $\alpha,\beta$ , tak że $X_i\mid\alpha,\beta\sim\mathrm{Beta}(\alpha,\beta)$ , pamiętaj, że

E [X_{i} ∣ α, β] = \frac{α}{α + β} =: μ

$\mathbb{E}[X_i\mid\alpha,\beta]=\frac{\alpha}{\alpha+\beta} =: \mu$ i

W związku z tym można ponowniesparametryzowaćprawdopodobieństwo w

i

i użyć jako wcześniej

V a r [X_{i} ∣ α, β] = \frac{α β}{(α + β)^{2} (α + β + 1)} =: σ^{2} .

$\mathbb{Var}[X_i\mid\alpha,\beta] = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} =: \sigma^2 \, .$

μ

$\mu$

σ^{2}

$\sigma^2$

Teraz jesteś gotowy, aby obliczyć tylną część i zbadać ją za pomocą swojej ulubionej metody obliczeniowej.

σ^{2} ∣ μ \sim U [0, μ (1 - μ)] μ \sim U [0, 1] .

$\sigma^2\mid\mu \sim \mathrm{U}[0,\mu(1-\mu)] \qquad \qquad \mu\sim\mathrm{U}[0,1] \, .$

— Zen
źródło

4

Nie, nie MCMC, ta rzecz! Kwadratura tej rzeczy! tylko 2 parametry - kwadratura jest „złotym standardem” dla małych wymiarów bocznych, zarówno pod względem czasu, jak i dokładności.

— probabilityislogic

3

Inną opcją jest uznanie

za miarę precyzji i ponowne użycie

ψ = α + β

$\psi = \alpha + \beta$

jako średnia. Odbywa się to cały czas za pomocą procesów Dirichleta, a dystrybucja beta jest szczególnym przypadkiem. Więc może rzuć gamma lub log-normal przed

i jednolicie na

.

μ = \frac{α}{α + β}

$\mu = \frac{\alpha}{\alpha + \beta}$

ψ

$\psi$

μ

$\mu$

— facet

2

Oczywiście, to nie jest sprzężone, prawda?

— facet

3

Absolutnie nie!

— Zen,

Cześć @Zen Mam teraz do czynienia z tym problemem, ale jestem nowy w Bayesian i nie jestem pewien, czy rozumiem ten pomysł. Doszedłem do wniosku, że proponujesz znaleźć

a następnie użyj reparametryzacji, ale oczywiście nie o to chodziło. Czy możesz mi pomóc zrozumieć?

\int_{0}^{1} \frac{1}{μ (1 - μ} d μ

$\int_{0}^{1}{\frac{1}{\mu(1-\mu}}d\mu$

— Red Noise

23

Tak, ma wcześniej koniugat w rodzinie wykładniczej. Rozważ trzyparametrową rodzinę Dla niektórych wartościjest to całkowalne, chociaż nie do końca zrozumiałem, które (uważam, żeipowinny działać -odpowiada niezależnym rozkładom wykładniczym, więc to zdecydowanie działa, a aktualizacja sprzężona wymaga zwiększania

π (α, β ∣ a, b, p) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{p} \exp (a α + b β) .

$\pi(\alpha, \beta \mid a, b, p) \propto \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right).$

(a, b, p)

$(a, b, p)$

p \geq 0

$p \ge 0$

a < 0, b < 0

$a < 0, b < 0$

p = 0

$p = 0$

więc sugeruje to

p

$p$

p > 0

$p > 0$ works as well).

The problem, and at least part of the reason no one uses it, is that

\int_{0}^{\infty} \int_{0}^{\infty} {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{p} \exp (a α + b β) = ?

$\int_0^\infty \int_0^\infty \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right) = ?$ i.e. the normalizing constant doesn't have a cloed form.

— guy
źródło

Ach To jest problematyczne. W każdym razie zamierzałem wcześniej znaleźć nieinformacyjną wersję koniugatu, więc wygląda na to, że równie dobrze mógłbym zacząć od jednolitych priorytetów w stosunku do tych dwóch parametrów. Dzięki.

— Brash Equilibrium,

Nie musisz go normalizować, jeśli porównujesz tylko prawdopodobieństwa…

— Neil G

p

$p$

\exp

$\exp$

p a α

$pa\alpha$

p

$p$

\exp

$\exp$ , you just have to express things in terms of

\log Γ (\dots)

$\log \Gamma(\cdots)$ instead of

Γ (\dots)

$\Gamma(\cdots)$ . Doing

p a α

$pa\alpha$ is just a reparmetrization, it changes nothing. Not sure what you mean "just comparing likelihoods". You can't implement a Gibbs sampler with this prior without using something like Metropolis, which kills the advantage of conditional conjugacy, the normalizing constant depends on

a

$a$ and

b

$b$ which kills putting a prior on them or estimating them by likelihood methods, etc...

— guy

2

@NeilG integral is over

α

$\alpha$ and

β

$\beta$ since those are the random variables.

— guy

9

In theory there should be a conjugate prior for the beta distribution. This is because

the beta distribution is one of the exponential family distributions, and
in theory it should be possible to derive a prior. See, e.g., wikipedia, D Blei's lecture on exponential families.

However the derivation looks difficult, and to quote A Bouchard-Cote's Exponential Families and Conjugate Priors

An important observation to make is that this recipe does not always yields a conjugate prior that is computationally tractable.

Consistent with this, there is no prior for the Beta distribution in D Fink's A Compendium of Conjugate Priors.

— TooTone
źródło

3

The derivation is not difficult — See my answer: mathoverflow.net/questions/63496/…

— Neil G

3

I do not believe there is a "standard" (i.e., exponential family) distribution that is the conjugate prior for the beta distribution. However, if one does exist it would have to be a bivariate distribution.

I have no idea about this question, but I did find this handy conjugate prior map that seems to support your answer: johndcook.com/conjugate_prior_diagram.html

— Justin Bozonier

The conjugate prior is in the exponential family and has three parameters — not two.

— Neil G

1

@Neil, you are definitely right. I guess I should have said it would have to have at least two parameters.

-1: this answer is clearly wrong in the claim that "conjugate prior does not exist in the exponential family", as is demonstrated in the answer above...

— Jan Kukacka

3

Robert and Casella (RC) happen to describe the family of conjugate priors of the beta distribution in Example 3.6 (p 71 - 75) of their book, Introducing Monte Carlo Methods in R, Springer, 2010. However, they quote the result without citing a source.

Added in response to gung's request for details. RC state that for distribution $B(\alpha, \beta)$ , the conjugate prior is "... of the form

π (α, β) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} x_{0}^{α} y_{0}^{β}

$\pi(\alpha,\beta) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} x_0^{\alpha} y_0^{\beta}$

where $\{\lambda, x_0, y_0\}$ are hyperparameters, since the posterior is then equal to

π (α, β | x) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} (x x_{0})^{α} ((1 - x) y_{0})^{β} . "

$\pi(\alpha,\beta \vert x) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} (xx_0)^{\alpha} ((1-x)y_0)^{\beta}."$

The remainder of the example concerns importance sampling from $\pi(\alpha,\beta \vert x)$ in order to compute the marginal likelihood of $x$ .

— user37239
źródło

2

I don't have Robert's book available but the posterior is

π (α, β) \propto {(\frac{Γ (α + β)}{Γ (α) Γ (β)})}^{λ + 1} (x x_{0})^{α - 1} {(y_{0} (1 - x))}^{β - 1}

$\pi(\alpha, \beta) \propto \left( \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} \right)^{\lambda +1} (x x_0)^{\alpha-1} \left(y_0 (1-x) \right)^{\beta-1}$ . Robert also posted on this topic here mathoverflow.net/questions/20399/…

— Fred Schoen

1

Pokornie zalecam, aby oryginalny plakat zaktualizował pocztę, aby wskazać, że podany w podręczniku plakat jest nieprawidłowy, zgodnie z komentarzem Freda Schoena (który można łatwo zweryfikować).

— RMurphy