Dlaczego dokładnie regresja beta nie radzi sobie z zerami i zerami w zmiennej odpowiedzi?

Regresja beta (tj. GLM z rozkładem beta i zwykle funkcją logit link) jest często zalecana do radzenia sobie ze zmienną zależną od odpowiedzi przyjmującą wartości od 0 do 1, takie jak ułamki, stosunki lub prawdopodobieństwa: Regresja dla wyniku (stosunek lub ułamek) od 0 do 1 .

Zawsze jednak twierdzi się, że regresji beta nie można zastosować, gdy zmienna odpowiedzi wynosi co najmniej 0 lub 1 przynajmniej raz. Jeśli tak, należy albo użyć modelu beta z zerowym / napompowanym jednym ruchem, albo dokonać transformacji odpowiedzi itp.: Regresja beta danych proporcji, w tym 1 i 0 .

Moje pytanie brzmi: która właściwość rozkładu beta uniemożliwia regresji beta radzenie sobie z dokładnymi zerami i zerami i dlaczego?

Domyślam się, że i nie wspierają dystrybucji beta. Ale dla wszystkich parametrów kształtu i , zarówno zero i jeden jest w wsparciu dystrybucji beta, to tylko dla mniejszych parametrów kształtu że rozkład dąży do nieskończoności w jednej lub obu stronach. Być może przykładowe dane są takie, że i zapewniające najlepsze dopasowanie okazałyby się powyżej . $0$ $1$ $\alpha>1$ $\beta>1$ $\alpha$ $\beta$ $1$

Czy to oznacza, że w niektórych przypadkach można faktycznie użyć regresji beta nawet z zerami / zerami?

Oczywiście, nawet gdy 0 i 1 wspierają rozkład beta, prawdopodobieństwo zaobserwowania dokładnie 0 lub 1 wynosi zero. Ale czy istnieje prawdopodobieństwo zaobserwowania jakiegokolwiek innego zestawu policzalnych wartości, więc nie może to stanowić problemu, prawda? (Por. Ten komentarz @Glen_b).

$\hskip{8em}$

W kontekście regresji beta rozkład beta jest sparametryzowany inaczej, ale przy powinien on być nadal dobrze zdefiniowany dla dla wszystkich . $\phi=\alpha+\beta>2$ $[0,1]$ $\mu$

— ameba mówi Przywróć Monikę
źródło

Interesujące pytanie! Nie mam żadnej odpowiedzi poza uwagami już przedstawionymi przez Kevina Wrighta. Myślę, że dokładne zera i jedyne w prawdopodobieństwach są przypadkami patologicznymi (jak w regresji logistycznej), więc nie są tak interesujące, ponieważ nie powinny się zdarzyć.

— Tim

@Tim Cóż, nie wiem, czy należy, czy nie powinno się zdarzyć, ale nie zdarzają się dość często, inaczej ludzie nie będą zadawać pytania na temat sposobów radzenia sobie z 0 i 1 w regresji beta, by nie pisać artykułów o 0- i-1 zawyżone modele beta itp. W każdym razie wciąż mam nadzieję na bardziej szczegółową odpowiedź niż Kevina. Należy przynajmniej wyjaśnić, w jaki sposób powstają te terminy w logarytmie prawdopodobieństwie.

— ameba mówi Przywróć Monikę

Aktualizacja: prawdopodobnie dlatego, że jeśli 0 i 1 są w obsłudze, PDF w tych punktach jest równy zero, co oznacza, że prawdopodobieństwo zaobserwowania tych wartości wynosi zero. Nadal chciałbym zobaczyć odpowiedź, która wyjaśnia to dokładnie.

— ameba mówi Przywróć Monikę

Jakiego więc rozkładu należy użyć, gdy zmienna odpowiedzi przyjmuje wartości, powiedzmy

[0, \infty)

$[0, \infty)$

— Zdezorientowany

Odpowiedzi:

Ponieważ loglikelihood zawiera zarówno i , które są nieograniczone, gdy lub . Zobacz równanie (4) Smithsona i Verkuilena, „ A Better Lemon Squeezer? Regresja maksymalnego prawdopodobieństwa dzięki zmiennym zależnym rozproszonym w wersji beta ” (bezpośredni link do pliku PDF ). $\log(x)$ $\log(1-x)$ $x=0$ $x=1$

— Kevin Wright
źródło

Dzięki. Oto bezpośredni link PDF do artykułu . Widzę to Eq. (4) rozpadnie się, gdy

lub

, ale nadal nie rozumiem, dlaczego dzieje się tak w ogólnym schemacie rzeczy.

y_{i} = 0

$y_i=0$

y_{i} = 1

$y_i=1$

— ameba mówi Przywróć Monikę

(+1) Amoeba, spójrz na pdf: dla każdej dystrybucji Beta gęstości w

wynoszą

lub

. W obu przypadkach prawdopodobieństwo dziennika nie zostanie zdefiniowane. Równolegle, gdy tylko pojawi się jedna odpowiedź

lub

, wszystkie wartości prawdopodobieństwa mogą wynosić tylko zero, nieskończoność lub nieokreślone, i pojawi się niebanalny zestaw parametrów Beta, dla których realizowana jest minimalna wartość prawdopodobieństwa. Dlatego praktyczne obliczenia są wykluczone, a model nie jest możliwy do zidentyfikowania (w poważnym sensie).

0

$0$

1

$1$

0

$0$

+ \infty

$+\infty$

0

$0$

1

$1$

— Whuber

Wraz z komentarzem @ whuber (którego do tej pory nie zauważyłem), to odpowiada na pytanie. Najważniejsze jest to, że dla wartości parametrów, o które pytałem,

mają zerowe prawdopodobieństwo.

0

$0$

1

$1$

— ameba mówi Przywróć Monikę

0

$0$

0.5

$0.5$

α = β = 2

$\alpha=\beta=2$

0.5

$0.5$

0

$0$

0.5

$0.5$

0

$0$

@amoeba Prawdopodobieństwo zależy od gęstości prawdopodobieństwa , a nie od samego prawdopodobieństwa. Czasami można uniknąć tego problemu albo przez rozważenie każdej obserwacji, aby uwzględnić prawdopodobieństwo małego, ale skończonego (nieskończenie małego) przedziału (określonego np. Przez precyzję pomiaru), lub przez połączenie rozkładów Beta z bardzo wąskim gaussowskim ( co eliminuje zerową i nieskończoną gęstość).

— whuber

$log(x)$ $log(1-x)$

$p$ $N$

W rezultacie, w moim rozumieniu regresji beta, 0 i 1 intuicyjnie odpowiadają (nieskończonym) pewnym wynikom.

— meduz
źródło