Po co używać rozkładu beta parametru Bernoulliego do hierarchicznej regresji logistycznej?


13

Obecnie czytam doskonałą książkę Kruschke „Doing Bayesian Data Analysis”. Jednak rozdział dotyczący hierarchicznej regresji logistycznej (rozdział 20) jest nieco mylący.

Rysunek 20.2 opisuje hierarchiczną regresję logistyczną, w której parametr Bernoulliego jest zdefiniowany jako funkcja liniowa współczynników przekształconych przez funkcję sigmoidalną. Wydaje się, że jest to sposób hierarchicznej regresji logistycznej w większości przykładów, które widziałem również w innych źródłach online. Na przykład - http://polisci2.ucsd.edu/cfariss/code/SIMlogit02.bug

Jednak gdy predyktory są nominalne, dodaje warstwę w hierarchii - parametr Bernoulliego jest teraz rysowany z rozkładu beta (rysunek 20.5) z parametrami określonymi przez mu i kappa, gdzie mu jest sigmoidalną transformacją funkcji liniowej współczynników , a kappa używa wcześniejszego współczynnika gamma.

Wydaje się to rozsądne i analogiczne do przykładu przerzucania monet z rozdziału 9, ale nie rozumiem, co mają nominalne predyktory związane z dodaniem rozkładu beta. Dlaczego nie zrobić tego w przypadku predyktorów metrycznych i dlaczego dodano rozkład beta dla predyktorów nominalnych?

EDYCJA: Wyjaśnienie modeli, o których mówię. Po pierwsze, model regresji logistycznej z predyktorami metrycznymi (bez wcześniejszej wersji beta). Jest to podobne do innych przykładów hierarchicznej regresji logistycznej, takich jak powyższy przykład błędów:

yiBernoulli(μi)μi=sig(β0+jβjxji)β0N(M0,T0)βjN(Mβ,Tβ)

Następnie przykład z predyktorami nominalnymi. Tutaj nie do końca rozumiem rolę „niższego” poziomu hierarchii (włączenie wyniku logistycznego do wcześniejszej wersji beta dla dwumianu) i dlaczego powinien być inny niż przykład metryczny.

ziBin(θi,N)θiBeta(aj,bj)aj=μjκbj=(1μj)κκΓ(Sκ,Rκ)μj=sig(β0+jβjxji)β0N(M0,T0)βjN(0,τβ)τβ=1/σβ2σβ2folded t(Tt,DF)

Odpowiedzi:


9

Dwa porównywane modele mają wiele obcych cech i myślę, że możesz bardziej precyzyjnie sformułować swoje pytanie w kontekście następujących dwóch uproszczonych modeli:

Model 1:

yi|μiBern(μi)μiπ(μi)

Model 2:

yi|θiBern(θi)θi|μi,κBeta(μiκ,(1μi)κ)μiπ(μi)

Twoje pytania to: (1) jaką rolę odgrywa dystrybucja beta; i powiązane, (2) w jaki sposób (jeśli w ogóle) różni się Model 2 od Modelu 1?

μiμi

p(μi|yi)μiyi(1μi)1yiπ(μi)
μi
p(μi|yi,κ)01θiyi+μiκ1(1θi)κ(1μi)yiB(κμi,κ(1μi))dθπ(μi)B(yi+μiκ,1yi+κ(1μi))π(μi)B(κμi,κ(1μi))μiyi(1μi)1yiπ(μi)

θi


5

Powodem rysowania parametru Bernoulliego z rozkładu beta jest to, że beta jest sprzężony z dwumianowym. Korzystanie z wcześniejszej dystrybucji koniugatu umożliwia rozwiązanie w postaci zamkniętej do znalezienia tylnej.

EDYCJA: wyjaśnienie. Oba modele będą działać. Nawet w przypadku MCMC przydatne jest posiadanie sprzężonych priorów, ponieważ pozwala to na użycie specjalistycznych samplerów dla różnych typów dystrybucji, które są bardziej wydajne niż próbniki ogólne. Na przykład patrz instrukcja obsługi JAGS, rozdz. 4.1.1 i ust. 4.2.


W moim pytaniu może nie być wystarczającego kontekstu z książki, ale analizy te są wykonywane z próbkowaniem Gibbsa, więc przedstawienie tylnej postaci w formie zamkniętej nie jest konieczne. W przykładzie, który podłączyłem, parametr bernoulli nie jest ustalony jako rozkład beta, ale wynika z sigmoidalnej transformacji predyktorów liniowych, które normalnie mają współczynniki rozkładu. W ten sposób Kruschke przedstawia również wcześniejszy przykład (z predyktorami metrycznymi) w tym rozdziale (parametr bernoulli jest po prostu sigmoidalną transformacją funkcji liniowej o normalnie rozłożonych współczynnikach)
4733

@ user4733 Jack Tanner ma rację, że beta jest koniugatem przed próbkami bernoulli. wydaje się czymś więcej niż przypadkiem, że został wybrany. Tak, możesz pobierać próbki Gibbsa, aby uzyskać rozkład tylny, ale w modelu hierarchicznym jest więcej niż jeden wcześniejszy udział i może być tak, że umieszczasz pierwszeństwo na hiperparametrze (parametr dla rodziny wcześniejszych rozkładów. Jest to przeor na przeora, jeśli chcesz. W tym kontekście może być wygodne użycie koniugatu przeor. Niektóre z opisu książki są dla nas mylące
Michael R. Chernick

1
Robisz małe fragmenty, które tworzą luki w naszej zdolności do zrozumienia, co się dzieje. Musisz lepiej opisać model i hierarchię priorów, abyśmy mogli (przynajmniej dla mnie) pomóc>
Michael R. Chernick

Dodano opisy do modeli hierarchicznych, o których mówię. Mam nadzieję, że to pomaga.
user4733
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.