Które dystrybucje mają rozwiązania zamknięte dla oszacowania maksymalnego prawdopodobieństwa?

Które rozkłady mają rozwiązania zamknięte dla maksymalnego prawdopodobieństwa oszacowania parametrów z próby niezależnych obserwacji?

Bez znaczącej utraty ogólności możemy założyć, że gęstość prawdopodobieństwa (lub masa) dla każdej obserwacji (z obserwacji) jest ściśle dodatnia, co pozwala nam zapisać ją jako wykładnicząx i$f(x_i)$$x_i$$n$

$$f(x_i) = \exp{(g(x_i,\theta))}$$

dla wektora parametru .$\theta = (\theta_j)$

Zrównanie gradientu funkcji logarytmu zera do zera (który znajduje stacjonarne punkty prawdopodobieństwa, wśród których będą wszystkie wewnętrzne maksima globalne, jeśli takie istnieją) daje zbiór równań postaci

$$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$$

po jednym dla każdego . Dla jednego z nich, aby mieć gotowe rozwiązanie, chcielibyśmy, aby móc oddzielić terminy Z kategoriach . (Wszystko wypływa z tego kluczowego pomysłu, motywowanego zasadą lenistwa matematycznego : wykonuj jak najmniej pracy; myśl przed obliczeniami; najpierw rozwiąż proste wersje trudnych problemów.) Najogólniejszym sposobem na zrobienie tego jest zastosowanie równań formularzx i θ$j$$x_i$$\theta$

$$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$$

dla znanych funkcji , i , ponieważ wówczas rozwiązanie uzyskuje się przez rozwiązanie równoczesnych równańτ j α $\eta_j$$\tau_j$$\alpha_j$

$$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$$

dla . Zasadniczo będą one trudne do rozwiązania, ale pod warunkiem, że zestaw wartości poda pełne informacje o , moglibyśmy po prostu użyj tego wektora zamiast samego (tym samym nieco uogólniając ideę rozwiązania „zamkniętej formy”, ale w bardzo produktywny sposób). W takim przypadku całkowanie w odniesieniu do daje( n α j ( θ $\theta$θθθ$\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$$\theta$ $\theta$$\theta_j$

$$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$$

(gdzie oznacza wszystkie składniki oprócz ). Ponieważ lewa strona jest funkcjonalnie niezależna od , musimy mieć to dla niektórych stałych funkcji ; że nie może w ogóle zależeć od ; a są pochodnymi niektórych funkcji a są pochodnymi niektórych innych funkcji , oba funkcjonalnie niezależne od danych. Skąd θ θ j θ j τ j ( x ) = T ( x ) T B θ η j H ( θ ) α j A ( θ $\theta_j'$$\theta$$\theta_j$$\theta_j$$\tau_j(x)=T(x)$$T$$B$$\theta$$\eta_j$$H(\theta)$$\alpha_j$$A(\theta)$

$$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$$

Gęstości, które można zapisać w tej formie, składają się na znaną rodzinę Koopman-Pitman-Darmois lub wykładniczą . Zawiera ważne rodziny parametryczne, zarówno ciągłe, jak i dyskretne, w tym gamma, normalne, chi-kwadrat, Poissona, wielomianowe i wiele innych .

Nie wiem, czy mógłbym wymienić je wszystkie. Przychodzą mi na myśl wykładnicze, normalne i dwumianowe i wszystkie należą do klasy rodzin wykładniczych. Rodzina wykładnicza ma wystarczającą statystykę w wykładniku, a mle jest często miłą funkcją tej wystarczającej statystyki.