Bayesowski model logitów - intuicyjne wyjaśnienie?

Muszę wyznać, że wcześniej nie słyszałem o tym terminie na żadnej z moich zajęć, na studiach licencjackich ani na studiach.

Co to znaczy, że regresja logistyczna jest Bayesowska? Szukam wyjaśnienia z przejściem od logistyki zwykłej do logistyki bayesowskiej podobnej do następującej:

Jest to równanie w modelu regresji liniowej: .$E(y) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

Jest to równanie w modelu regresji logistycznej: . Odbywa się to, gdy y jest kategoryczny.$\ln(\frac{E(y)}{1-E(y)}) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

To, co zrobiliśmy, to zmiana na .ln ( E ( y $E(y)$$\ln(\frac{E(y)}{1-E(y)})$

Co zatem zrobiono z modelem regresji logistycznej w bayesowskiej regresji logistycznej? Zgaduję, że to nie ma nic wspólnego z równaniem.

Ten podgląd książki wydaje się definiować, ale tak naprawdę nie rozumiem. Czym są te wszystkie wcześniejsze rzeczy dotyczące prawdopodobieństwa? Co to jest ? Czy ktoś mógłby wyjaśnić tę część książki lub model logitów bayesowskich w inny sposób?$\alpha$

Uwaga: Myślę, że zostało to już wcześniej zadane, ale nie zostało udzielone zbyt dobrej odpowiedzi.

Regresję logistyczną można opisać jako kombinację liniową

$$\eta = \beta_0 + \beta_1 X_1 + ... + \beta_k X_k$$

który jest przekazywany przez funkcję link :$g$

$$g(E(Y)) = \eta$$

gdzie funkcja link jest funkcją logowania

$$E(Y|X,\beta) = p = \text{logit}^{-1}( \eta )$$

gdzie przyjmuje tylko wartości z { 0 , 1 }, a odwrotne funkcje logitowe przekształcają kombinację liniową η na ten zakres. Tu kończy się klasyczna regresja logistyczna.$Y$$\{0,1\}$$\eta$

Jeśli jednak przypomnisz sobie, że dla zmiennych, które przyjmują tylko wartości w { 0 , 1 } , to E ( Y | X , β ) można uznać za P ( Y = 1 | X , β ) . W takim przypadku dane wyjściowe funkcji logit można uznać za warunkowe prawdopodobieństwo „sukcesu”, tj. P ( Y = 1 | X $E(Y) = P(Y = 1)$$\{0,1\}$$E(Y | X,\beta)$$P(Y = 1 | X,\beta)$ . Rozkład Bernoulliegojest rozkładem opisującym prawdopodobieństwo zaobserwowania wyniku binarnego, z pewnymparametrem p , więc możemy opisać Y jako$P(Y=1|X,\beta)$$p$$Y$

$$y_i \sim \text{Bernoulli}(p)$$

Zatem przy regresji logistycznej szukamy niektórych parametrów które razem z niezależnymi zmiennymi X tworzą kombinację liniową η . W regresji klasycznej E ( Y | X , β ) = η (zakładamy, że funkcja link jest funkcją tożsamości), jednak w modelu Y, który przyjmuje wartości w { 0 , 1 } , musimy przekształcić η , aby dopasować [ 0 , 1 ] zasięg.$\beta$$X$$\eta$$E(Y|X,\beta) = \eta$$Y$$\{0,1\}$$\eta$$[0,1]$

Teraz, aby oszacować regresję logistyczną w sposób bayesowski, wyłapujesz niektóre priorytety dla parametrów jak w przypadku regresji liniowej (patrz Kruschke i in., 2012 ), a następnie użyj funkcji logit do przekształcenia kombinacji liniowej η , aby użyć jej wyniku jako p parametr rozkładu Bernoulliego opisujący zmienną Y. Tak, tak, faktycznie używasz równania i funkcji logit w taki sam sposób, jak w przypadku częstotliwości, a reszta działa (np. Wybierając priory), podobnie jak szacowanie regresji liniowej metodą bayesowską.$\beta_i$$\eta$$p$$Y$

Prostym podejściem do wyboru priorów jest wybranie rozkładów normalnych (ale możesz również użyć innych rozkładów, np. Rozkład - lub Laplace'a dla bardziej wytrzymałego modelu) dla β i z parametrami μ i i σ 2 i, które są ustawione lub wzięte z hierarchiczne priory . Teraz, mając definicję modelu, możesz użyć oprogramowania takiego jak JAGS, aby przeprowadzić symulację Markov Chain Monte Carlo , aby oszacować model. Poniżej kod pocztowy Jags dla prostego modelu logistycznego (sprawdź tutaj po więcej przykładów).$t$$\beta_i$$\mu_i$$\sigma_i^2$

model {
   # setting up priors
   a ~ dnorm(0, .0001)
   b ~ dnorm(0, .0001)

   for (i in 1:N) {
      # passing the linear combination through logit function
      logit(p[i]) <- a + b * x[i]

      # likelihood function
      y[i] ~ dbern(p[i])
   }
}

Jak widać, kod bezpośrednio przekłada się na definicję modelu. Jakie oprogramowanie robi to rysuje pewne wartości z normalnego priors na ai b, a następnie wykorzystuje te wartości do oszacowania pi wreszcie, wykorzystuje funkcję prawdopodobieństwa ocenić na ile prawdopodobne jest dane podane te parametry (to jest, gdy używasz Twierdzenie Bayesa, patrz tutaj dla bardziej szczegółowy opis).

Podstawowy model regresji logistycznej można rozszerzyć w celu modelowania zależności między predyktorami przy użyciu modelu hierarchicznego (w tym hiperpriorów ). W takim przypadku możesz narysować z wielowymiarowego rozkładu normalnego, który pozwala nam zawrzeć informację o kowariancji Σ między zmiennymi niezależnymi$\beta_i$$\boldsymbol{\Sigma}$

$$\begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_k \end{pmatrix} \sim \mathrm{MVN} \left( \begin{bmatrix} \mu_0 \\ \mu_1 \\ \vdots \\ \mu_k \end{bmatrix}, \begin{bmatrix} \sigma^2_0 & \sigma_{0,1} & \ldots & \sigma_{0,k} \\ \sigma_{1,0} & \sigma^2_1 & \ldots &\sigma_{1,k} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{k,0} & \sigma_{k,1} & \ldots & \sigma^2_k \end{bmatrix} \right)$$

... ale chodzi tu o szczegóły, więc zatrzymajmy się tutaj.

Część „bayesowska” tutaj wybiera priorytety, używając twierdzenia Bayesa i definiując model w kategoriach probabilistycznych. Zobacz tutaj definicję „modelu bayesowskiego”, a tutaj ogólną intuicję dotyczącą podejścia bayesowskiego . Można także zauważyć, że dzięki temu podejściu definiowanie modeli jest dość proste i elastyczne.

---

Kruschke, JK, Aguinis, H., i Joo, H. (2012). Nadszedł czas: Bayesowskie metody analizy danych w naukach organizacyjnych. Metody badań organizacyjnych, 15 (4), 722-752.

Gelman, A., Jakulin, A., Pittau, GM, i Su, Y.-S. (2008). Słabo informacyjna domyślna wcześniejsza dystrybucja modeli logistycznych i innych modeli regresji. The Annals of Applied Statistics, 2 (4), 1360–1383.

Czym są te wszystkie wcześniejsze rzeczy dotyczące prawdopodobieństwa?

Właśnie dlatego Bayesian. Generatywny model danych jest taki sam; różnica polega na tym, że analiza bayesowska wybiera wcześniejszy rozkład parametrów będących przedmiotem zainteresowania i oblicza lub aproksymuje rozkład tylny , na którym opiera się wszystkie wnioski. Zasada Bayesa odnosi się do dwóch: Tylna część ciała jest proporcjonalna do czasów prawdopodobieństwa wcześniejszych.

$\bf\beta$

Niektóre modele częstych mogą być powiązane z odpowiednikiem bayesowskim z konkretnym przeorem, choć nie jestem pewien, co odpowiada w tym przypadku.