Uwzględnianie parametrów dyskretnych lub binarnych w kryterium informacji bayesowskiej

BIC penalizuje na podstawie liczby parametrów. Co jeśli niektóre parametry są jakimś rodzajem zmiennych binarnych? Czy liczą się one jako pełne parametry? Ale można połączyć parametry binarnych na jednej dyskretnej zmiennej przyjąć wartość w . Czy należy je liczyć jako parametrów czy jeden parametr? $m$ $\{0,1,...,2^m-1\}$ $m$

— wysoka przepustowość
źródło

Częściowo z powodu tej niedokładności w „liczbie parametrów” w BIC DIC ( kryterium informacji o odchyleniu ) wprowadził efektywną liczbę parametrów jako gdzie i Zauważ, że jest wtedy zależne od danych. (Jak omówiono tam , DIC ma również własne problemy!)

p_{D} (x) = E [D (θ) | x] - D (E [θ | x])

$p_D(x) = \mathbb{E}[D(\theta)|x] - D(\mathbb{E}[\theta|x])$

D (θ) = - 2 \log f (x | θ)

$D(\theta)=-2\log f(x|\theta)$

DIC (x) = p_{D} (x) + E [D (θ) | x]

$\text{DIC}(x) = p_D(x) + \mathbb{E}[D(\theta)|x]$

p_{D} (x)

$p_D(x)$

— Xi'an
źródło

Więc jestem trochę zdezorientowany. Myślałem, że BIC jest przybliżeniem , które można obliczyć z MCMC symulacje. Dlaczego więc mielibyśmy obliczać DIC?

E [l o g P (y | M o d e l)] = \log (\int P (y | θ) P_{m o d e l} (θ) d θ)

$E[log P(y|Model)] = \log(\int P(y|\theta)P_{model}(\theta)d\theta)$

— highBandWidth

Tak, BIC jest przybliżeniem krańcowego prawdopodobieństwa. Jest to jednak tylko przybliżenie, które zbiega się z „prawdą”, gdy wielkość próbki rośnie do nieskończoności. Nie jest więc bezpośrednio Bayesowski (z jednej strony nie korzysta z wcześniejszego!) I całkowicie niezwiązany z MCMC (gdzie przybliżenie jest typu Monte Carlo: jeśli zwiększę liczbę symulacji, przybliżenie poprawi się). DIC jest uważany przez wielu za bardziej bayesowski (w tym B. Carlin i D. Spiegelhatler)

— Xi'an

Wydaje mi się, że moje pytanie brzmiało: czy DIC jest również przybliżeniem prawdopodobieństwa modelu krańcowego? Chyba powinienem sam o tym poczytać, ale skoro o tym rozmawialiśmy, pomyślałem, że wyjaśnienie tego uczyni odpowiedź bardziej kompletną. Dzięki!

— highBandWidth