Dlaczego regresji Beta / Dirichleta nie uważa się za uogólnione modele liniowe?

Założeniem jest ten cytat z winiety z pakietu R betareg¹ .

Co więcej, model ma pewne właściwości (takie jak predyktor liniowy, funkcja łącza, parametr dyspersji) z uogólnionymi modelami liniowymi (GLM; McCullagh i Nelder 1989), ale nie jest to szczególny przypadek tego szkieletu (nawet dla ustalonej dyspersji )

Ta odpowiedź nawiązuje również do faktu:

[...] Jest to rodzaj modelu regresji, który jest odpowiedni, gdy zmienna odpowiedzi jest dystrybuowana jako Beta. Można myśleć o nim jako analogiczny do uogólnionego modelu liniowego. To jest dokładnie to, czego szukasz [...] (moje podkreślenie)

Tytuł pytania mówi wszystko: dlaczego regresja Beta / Dirichleta nie jest uważana za uogólnione modele liniowe (czy nie są)?

O ile mi wiadomo, uogólniony model liniowy definiuje modele zbudowane na oczekiwaniu ich zmiennych zależnych od niezależnych.

$f$ jest funkcją łącza, która odwzorowuje oczekiwanie, jest rozkładem prawdopodobieństwa, wyniki i prognozy, są parametrami liniowymi, a wariancją. $g$ $Y$ $X$ $\beta$ $\sigma^2$

fa (mi (Y ∣ X)) \sim sol (β X, ja σ^{2)})

$f\left(\mathbb E\left(Y\mid X\right)\right) \sim g(\beta X, I\sigma^2)$

Różne GLM narzucają (lub rozluźniają) związek między średnią a wariancją, ale musi być rozkładem prawdopodobieństwa w rodzinie wykładniczej, pożądaną właściwością, która powinna poprawić wiarygodność oszacowania, jeśli dobrze pamiętam. Dystrybucje Beta i Dirichlet są jednak częścią wykładniczej rodziny, więc nie mam pomysłów. $g$

[1] Cribari-Neto, F., i Zeileis, A. (2009). Regresja beta w R.

generalized-linear-model beta-regression dirichlet-regression

— Firebug
źródło

(+1) Powiązane: stats.stackexchange.com/a/189196 .

— ameba mówi Przywróć Monikę

@amoeba Dzięki za link, nie widziałem wcześniej tego pytania.

— Firebug

Myślę, że problem polega na tym, że jeśli napiszesz rozkład beta ze standardowymi parametrami , (tj. oznacza jednolity (0,1)), to rozkład beta jest w rodzinie wykładniczej, jeśli go napiszesz jeśli chodzi o (średnia) i (dyspersja), nie jest. Ale nigdy tak bardzo nie dbałem o to, czy rozkład należy do rodziny wykładniczej.

a

$a$

b

$b$

a = b = 1

$a = b = 1$

μ

$\mu$

ϕ

$\phi$

— Cliff AB

@CliffAB Po przeczytaniu komentarzy pod odpowiedzią Tima poniżej wydaje się, że parametryzacja Beta prowadzi do nieortogonalności parametrów, co wydaje się być wymogiem dla GLM McCullagha-Neldera.

— Firebug

Myślę, że ta krótka odpowiedź: stats.stackexchange.com/a/18812/28666 jest istotna i dodaje do odpowiedzi tutaj (wskazując, dlaczego GLM zostały pierwotnie zdefiniowane w rodzinie dyspersyjnej wykładniczej).

— ameba mówi Przywróć Monikę

Odpowiedzi:

Sprawdź oryginalne odniesienie:

Ferrari, S., i Cribari-Neto, F. (2004). Regresja beta dla modelowania stawek i proporcji. Journal of Applied Statistics, 31 (7), 799-815.

jak zauważają autorzy, parametry ponownie sparametryzowanego rozkładu beta są skorelowane, więc

Należy zauważyć, że parametry i nie są ortogonalne, w przeciwieństwie do tego, co zostało zweryfikowane w klasie uogólnionych modeli regresji liniowej (McCullagh i Nelder, 1989). $\beta$ $\phi$

Więc chociaż model wygląda jak GLM i szarlatanko jak GLM, nie idealnie pasuje do ramy.

— Tim
źródło

+1, ale byłoby wspaniale mieć bardziej szczegółową odpowiedź. Ja osobiście nie rozumiem cytatu (nawet po otwarciu powiązanego dokumentu). Dlaczego te parametry nie są ortogonalne w regresji beta? .. Dlaczego jest to wymagane dla GLM? .. Itd.

— Amoeba mówi Przywróć Monikę

@amoeba szczerze mówiąc, nie jestem osobą, która może udzielić ci szczegółowej odpowiedzi na ten temat. Nigdy tak bardzo nie interesowałem się teorią GLM, aby mieć wystarczająco głębokie zrozumienie takich subtelności. McCullagh i Nelder wspominają o tym wymogu, ale muszę sprawdzić ich książkę, aby zobaczyć, dlaczego dokładnie jest to ważne. Gdyby ktoś udzielił szczegółowego wyjaśnienia, dlaczego jest to problem, rozważę nagrodę za taką odpowiedź.

— Tim

Wymagania dotyczące ortogonalności w GLM są ważne: Oznacza to, że możesz oszacować równanie

bez obawy o błędne określenie reszty prawdopodobieństwa. Szacunki parametrów są spójne, jeśli powyższe równanie średnie jest poprawnie określone. Wnioskowanie jest ważne, jeśli dodatkowo wariancja jest poprawnie określona. Jednak w regresji beta nie można w ten sposób rozdzielić dwóch równań modelu, nawet jeśli

jest tylko stałą. Aby uzyskać spójne wyniki, wszystko musi być poprawnie określone.

g (μ) = x^{⊤} β

$g(\mu) = x^\top \beta$

ϕ

$\phi$

— Achim Zeileis,

@AchimZeileis Pamiętam, że widziałem twoje imię w CV. To, co mówisz, ma doskonały sens. Może chcesz przekształcić swój komentarz, aby uzyskać odpowiedź, dodając trochę uzasadnienia? Jak powiedziałem, chętnie przyznam nagrodę za osobę, która udzieli wystarczająco szczegółowej odpowiedzi na pytanie.

— Tim

@ Tim spróbuje to zrobić, gdy będę miał więcej czasu. Dlatego pomyślałem, że szybki komentarz jest lepszy niż nic ...

— Achim Zeileis,

Odpowiedź @probabilityislogic jest na dobrej drodze.

Rozkład beta należy do dwuparametrowej rodziny wykładniczej . Proste modele GLM opisane przez Neldera i Wedderburn (1972) nie uwzględniają wszystkich rozkładów w dwuparametrowej rodzinie wykładniczej.

Zgodnie z artykułem N&W, GLM stosuje się do funkcji gęstości następującego typu (później nazwano ją rodziną dyspersji wykładniczej w Jørgensen 1987 ):

π (z; θ, ϕ) = \exp [α (ϕ) {z θ - sol (θ) + h (z)} + β (ϕ, z)]

$\pi(z;\theta,\phi) = \exp \left[ \alpha(\phi) \lbrace z\theta - g(\theta) +h(z)\rbrace +\beta(\phi,z) \right]$

z dodatkową funkcją połączenia i modelem liniowym dla parametru naturalnego . $f()$ $\theta = f(\mu) = f(X\beta)$

Abyśmy mogli przepisać powyższą dystrybucję również:

π (z; μ, ϕ) = mi x p [z (fa (μ) α (ϕ)) + h (z) α (ϕ) - sol (fa (μ)) α (ϕ) + β (ϕ, z)]

$\pi(z;\mu,\phi) = exp \left[z(f(\mu)\alpha(\phi)) +h(z)\alpha(\phi) - g(f(\mu))\alpha(\phi) +\beta(\phi,z) \right]$

Dwuparametrowa rodzina wykładnicza to:

fa (z; θ_{1}, θ_{2)}) = mi x p [{T.}_{1} (z) η_{1} (θ_{1}, θ_{2)}) + {T.}_{2)} (z) η_{2)} (θ_{1}, θ_{2)}) - sol (θ_{1}, θ_{2)}) + h (z)]

$f(z;\theta_1,\theta_2) = exp \left[T_1(z)\eta_1(\theta_1,\theta_2) + T_2(z)\eta_2(\theta_1,\theta_2) - g(\theta_1,\theta_2) +h(z) \right]$

który wygląda podobnie, ale bardziej ogólnie (także jeśli jedno z jest stałe). $\theta$

Różnica jest wyraźna, a także umieszczenie rozkładu beta w formie, ponieważ GLM nie jest możliwe.

Brakuje mi jednak wystarczającego zrozumienia, aby stworzyć bardziej intuicyjną i dobrze poinformowaną odpowiedź (mam wrażenie, że mogą istnieć znacznie głębsze i bardziej eleganckie relacje z różnymi podstawowymi zasadami). GLM uogólnia rozkład błędu za pomocą modelu pojedynczej zmiennej wykładniczej dyspersji zamiast modelu najmniejszych kwadratów i uogólnia zależność liniową w średniej za pomocą funkcji link.

Najlepszą i najprostszą intuicją wydaje się być termin dyspersyjny w wykładniczym, który jest mnożony przez wszystko, a zatem dyspersja nie zmienia się z . Podczas gdy kilka dwuparametrowych rodzin wykładniczych i metod quasi-prawdopodobieństwa pozwala, aby parametr dyspersji również był funkcją . $\alpha(\phi)$ $\theta$ $\theta$

— Sextus Empiricus
źródło

Drugim parametrem

w definicji df N&W jest dyspersja. Jest rozszerzeniem jednoparametrowej naturalnej rodziny wykładniczej

ϕ

$\phi$

π (z; θ)

$\pi(z;\theta)$

— Sextus Empiricus

@amoeba beta jest dwuwymiarową wykładniczą rodziną, np. www2.stat.duke.edu/courses/Spring11/sta114/lec/expofam.pdf

— Tim

Nie jestem pewien, czy nie jest to całkowicie możliwe, nawet przy stałym rozproszeniu. Przynajmniej nie zgodnie z glm, jak stwierdził N&W (wiem, że wiele osób robi znacznie trudniejsze rzeczy, aby rozwiązać regresję beta). Przeredaguję odpowiedź, aby pokazać, co się dzieje i gdzie idzie źle, jeśli spróbujemy podążać tą samą ścieżką iteracyjnej, ponownie ważonej najmniejszych kwadratów.

— Sextus Empiricus,

Trochę zredagowałem odpowiedź. 1) Mój początkowy opis rodzin i modeli dyspersyjnych był niepoprawny. GLM obejmuje wszystkie rozkłady rodzin wykładniczych jednoparametrowych, ponieważ nie jest to tylko funkcja gęstości, ale także funkcja łącza. 2) Jeśli chodzi o lepszy intuicyjny widok, nie mogłem dostać się daleko i nie spodziewam się, że wkrótce się oddalę. Modele GLM odnoszą się do klasycznego modelu w różnych przedstawieniach, dodając wagi do formułowania macierzy procedur dopasowania, pochodnych funkcji logarytmu prawdopodobieństwa, w tym terminów z funkcją połączenia i wariancją, .....

— Sextus Empiricus,

Pozwoliłem sobie trochę edytować twoją odpowiedź, mam nadzieję, że wszystko w porządku z edycjami. Wygląda też na to, że ta odpowiedź stats.stackexchange.com/a/18812/28666 wskazuje, dlaczego N&W korzystała z tej konkretnej rodziny dystrybucji, a nie z szerszej.

— ameba mówi Przywróć Monikę

Nie sądzę, że rozkład beta jest częścią rodziny wykładniczej dyspersji . Aby to uzyskać, musisz mieć gęstość

fa (y; θ, τ) = \exp (\frac{y θ - do (θ)}{τ} + re (y, τ))

$f (y;\theta,\tau)=\exp\left (\frac {y\theta - c (\theta)}{\tau} + d (y,\tau)\right)$

$c ()$ $d ()$ $c'(\theta)$ $\tau c''(\theta)$ $\theta$

$y$ $\log [y]$ $\log [1-y]$

{fa}_{b mi t za} (y; μ, ϕ) = \exp (ϕ μ \log [\frac{y}{1 - y}] + ϕ \log [1 - y] - \log [b (ϕ μ, ϕ (1 - μ)] - \log [\frac{y}{1 - y}])

$f_{beta}(y;\mu,\phi)=\exp\left (\phi\mu\log\left[\frac {y}{1-y}\right] +\phi\log [1-y] - \log [B (\phi\mu,\phi (1-\mu)]-\log\left[\frac {y}{1-y}\right]\right)$

$y=\frac {x}{x+z}$ $x$ $z$

— prawdopodobieństwo prawdopodobieństwa
źródło

Ta odpowiedź jest nieprawidłowa, jak napisano. Jednym ze sposobów na to jest to, że zgodnie z przedstawioną logiką, na przykład rozkłady Bernoulliego i dwumianowe również nie należałyby do klasy rodzin wykładniczych.

— kardynał

Przepraszamy, masz rację, że podany przeze mnie przykład był błędny. (Ostrzeżenie: arytmetyka myślenia i mobilne korzystanie z CrossValidated może być niebezpieczne!) Jednak mój punkt widzenia jest nadal słuszny. Ta odpowiedź jest niepoprawna, ponieważ opowiada się za bardzo wąsko „zdefiniowaną” koncepcją „rodziny wykładniczej” - znacznie węższą niż jakiekolwiek konwencjonalne źródło lub praktyczne zastosowanie.

— kardynał

Hmm Wikipedia umieszcza wersję beta na liście wykładniczych rozkładów rodzin.

— ameba mówi Przywróć Monikę

To prawda, że myślałem o naturalnej rodzinie wykładniczej - co jest szczególnym przypadkiem

— probabilislogic

θ

$\theta$