Niemożliwy problem z oszacowaniem?

Pytanie

Wariancja ujemnego rozkładu dwumianowego (NB) jest zawsze większa niż jego średnia. Gdy średnia próbki jest większa niż jej wariancja, próba dopasowania parametrów NB z maksymalnym prawdopodobieństwem lub oszacowaniem momentu zakończy się niepowodzeniem (nie ma rozwiązania z parametrami skończonymi).

Jednak możliwe jest, że próbka pobrana z rozkładu NB ma wartość większą niż wariancja. Oto powtarzalny przykład w R.

set.seed(167)
x = rnbinom(100, size=3.2, prob=.8);
mean(x) # 0.82
var(x) # 0.8157576

Istnieje niezerowe prawdopodobieństwo, że NB wytworzy próbkę, dla której parametrów nie można oszacować (metodami największego prawdopodobieństwa i momentu).

Czy można podać godne szacunki dla tej próbki?
Co mówi teoria estymacji, gdy estymatory nie są zdefiniowane dla wszystkich próbek?

O odpowiedzi

Odpowiedzi @MarkRobinson i @Yves uświadomiły mi, że parametryzacja jest głównym problemem. Gęstość prawdopodobieństwa NB jest zwykle zapisywana jako

lub jako

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} (1 - p)^{r} p^{k}

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!}(1-p)^rp^k$

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} {(\frac{r}{r + m})}^{r} {(\frac{m}{r + m})}^{k} .

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!} \left(\frac{r}{r+m}\right)^r \left(\frac{m}{r+m}\right)^k.$

W ramach pierwszej parametryzacji maksymalne oszacowanie prawdopodobieństwa wynosi ilekroć wariancja próbki jest mniejsza niż średnia, więc nic użytecznego nie można powiedzieć o . W drugim przypadku jest to , więc możemy podać rozsądne oszacowanie . Wreszcie @ MarkRobinson pokazuje, że możemy rozwiązać problem nieskończonych wartości za pomocą $(\infty, 0)$ $p$ $(\infty, \bar{x})$ $m$ zamiast. $\frac{r}{1+r}$ $r$

Podsumowując, nie ma nic zasadniczo złego w tym problemie estymacji, z wyjątkiem tego, że nie zawsze można podać sensowne interpretacje i dla każdej próbki. Szczerze mówiąc, pomysły są zawarte w obu odpowiedziach. Wybrałem ten z @ MarkRobinson jako poprawny dla uzupełnień, które on daje. $r$ $p$

estimation maximum-likelihood negative-binomial

— gui11aume
źródło

Błędne jest stwierdzenie, że w takim przypadku maksymalne prawdopodobieństwo zawodzi. Metody tylko chwilowe mogą napotkać trudności.

— Xi'an

@ Xi'an Czy możesz rozwinąć? Prawdopodobieństwo tego przykładu ma maksimum w domenie

(patrz w tym na przykład). Czy coś brakuje? W każdym razie, jeśli możesz podać oszacowania ML parametrów dla tego przypadku, zaktualizuję pytanie.

(0, \infty) \times (0, 1)

$(0,\infty) \times (0,1)$

— gui11aume

p \to 0

$p \to 0$

r \to \infty

$r \to \infty$

CV < 1

$\text{CV} < 1$

α = 20

$\alpha = 20$

n = 200

$n = 200$

@Yves Dzięki za ten inny przykład (o którym nie wiedziałem). Co ludzie robią w tym przypadku?

— gui11aume

α \to \infty

$\alpha \to \infty$

λ / α \to θ > 0

$\lambda / \alpha \to \theta >0$

r p / (1 - p) \to λ

$rp/(1-p) \to \lambda$

Odpowiedzi:

Zasadniczo dla próbki oszacowanie parametru rozmiaru znajduje się na granicy przestrzeni parametrów. Można również rozważyć zmianę parametrów, na przykład d = rozmiar / (rozmiar + 1); gdy rozmiar = 0, d = 0, gdy rozmiar zmierza do nieskończoności, d zbliża się 1. Okazuje się, że dla podanych ustawień parametrów oszacowania wielkości nieskończoności (d bliskie 1) zdarzają się w około 13% przypadków Szacunkowe prawdopodobieństwo profilu skorygowanego Cox-Reida (APL), które jest alternatywą dla oszacowań MLE dla NB (przykład pokazany tutaj) . Oszacowania średniego parametru (lub „prob”) wydają się być prawidłowe (patrz rysunek, niebieskie linie to prawdziwe wartości, czerwona kropka to oszacowanie dla twojego materiału siewnego = 167 próbek). Więcej szczegółów na temat teorii APL znajduje się tutaj .

Tak więc powiedziałbym do 1 .: można uzyskać przyzwoite oszacowania parametrów .. rozmiar = nieskończoność lub dyspersja = 0 jest rozsądnym oszacowaniem biorąc pod uwagę próbkę. Rozważ inną przestrzeń parametrów, a oszacowania będą skończone.

— Mark Robinson
źródło

Dziękujemy za dołączenie do strony i udzielenie odpowiedzi na moje pytanie! Szczegółowość prawdopodobieństwa profilu Cox-Reida wygląda bardzo obiecująco.

— gui11aume

W przykładzie ujemnego dwumianu (NB) prawdopodobieństwo może mieć swoje maksimum dla nieskończonej odległości dla $p \to 0$ $r \to \infty$ $\Theta := (0,\,1)\times(0,\,\infty)$ $\lambda >0$ $[p,\,r] \in \Theta$ $p \to 0$ $r \to \infty$ $rp/(1-p) \to \lambda$

$\text{CV} < 1$ $>0.3$ $\alpha = 20$ $n = 200$

Właściwości ML dotyczą dużej próby: w warunkach prawidłowości wykazano, że istnieje oszacowanie ML, jest ono unikalne i wykazuje tendencję do prawdziwego parametru. Jednak dla danej skończonej wielkości próby oszacowanie ML może nie istnieć w domenie, np. Ponieważ maksimum jest osiągane na granicy. Może także istnieć w domenie, która jest większa niż domena wykorzystywana do maksymalizacji.

$\alpha \to \infty$ $\lambda / \alpha \to \theta >0$ $\text{GPD}(\sigma,\,\xi)$ $\xi >0$ $\widehat{\xi} < 0$ $\widehat{\xi} = 0$

Ze względu na niezmienność poprzez ponowną parametryzację uważam, że nieskończone parametry mogą mieć sens w niektórych przypadkach.

— Yves
źródło