Dlaczego rozkład Dirichleta jest priorytetem w dystrybucji wielomianowej?

36

W algorytmie modelu tematycznego LDA widziałem to założenie. Ale nie wiem, dlaczego wybrał dystrybucję Dirichleta? Nie wiem, czy możemy użyć Uniform Distribution na Multinomial jako parę?

bayesian dirichlet-distribution conjugate-prior

— ColinBinWang
źródło

5

Rozkład równomierny jest szczególnym przypadkiem rozkładu dirichleta.

— Stumpy Joe Pete

60

Rozkład Dirichleta jest sprzężony przed rozkładem wielomianowym. Oznacza to, że jeśli wcześniejszym rozkładem parametrów wielomianowych jest Dirichlet, to rozkład tylny jest również rozkładem Dirichleta (z parametrami innymi niż parametry wcześniejsze). Zaletą tego jest to, że (a) rozkład tylny jest łatwy do obliczenia i (b) w pewnym sensie możliwe jest oszacowanie, jak bardzo zmieniły się nasze przekonania po zebraniu danych.

Z pewnością można przedyskutować, czy są to dobre powody, aby wybrać konkretny przeor, ponieważ kryteria te nie są związane z faktycznymi wcześniejszymi przekonaniami ... Niemniej jednak sprzężone przeory są popularne, ponieważ często są dość elastyczne i wygodne w użyciu z powodów wymienionych powyżej. .

W szczególnym przypadku rozkładu wielomianowego niech będzie wektorem parametrów wielomianowych (tj. Prawdopodobieństw dla różnych kategorii). Jeśli przed zebraniem danych, to biorąc pod uwagę obserwacje w różnych kategoriach, $(p_1,\ldots,p_k)$

(p_{1}, \dots, p_{k}) \sim Dirichlet (α_{1}, \dots, α_{k})

$(p_1,\ldots,p_k)\sim \mbox{Dirichlet}(\alpha_1,\ldots,\alpha_k)$

(x_{1}, \dots, x_{k})

$(x_1,\ldots,x_k)$

(p_{1}, \dots, p_{k}) | (x_{1}, \dots, x_{k}) \sim Dirichlet (α_{1} + x_{1}, \dots, α_{k} + x_{k}) .

$(p_1,\ldots,p_k)\Big|(x_1,\ldots,x_k)\sim \mbox{Dirichlet}(\alpha_1+x_1,\ldots,\alpha_k+x_k).$

$\alpha_1=\alpha_2=\cdots=\alpha_k=1$ $\alpha_1=\cdots=\alpha_k=1/2$

— MånsT
źródło

Dlatego wybraliśmy dystrybucję Dirichleta dla tych korzyści.

— ColinBinWang

1

+1: Możesz wyraźnie powiedzieć, że prawdopodobieństwo jest koniecznie Dirichleta, dlatego rozkład tylny jest łatwy do obliczenia.

— Neil G,

18

Oprócz sprzeczności z odpowiedzią Månsa T , po prostu zaznaczam, że w modelowaniu bayesowskim nie ma czegoś takiego jak „wcześniejsze”! Rozkład Dirichleta jest wygodnym wyborem ze względu na (a) sprzężenie, (b) obliczenia i (c) połączenie ze statystykami nieparametrycznymi (ponieważ jest to dyskretna wersja procesu Dirichleta).

Jednak (i) cokolwiek wcześniej nałożysz na wagi wielomianu jest uzasadnioną odpowiedzią na subiektywnym poziomie Bayesa oraz (ii) w przypadku wcześniejszej informacji, nie ma powodu, aby uprościć ją do rozkładu Dirichleta. Należy również zauważyć, że mieszaniny i zwoje rozkładów Dirichleta mogą być użyte jako priory.

— Xi'an
źródło