MLE dla rozkładu trójkątów?

Czy można zastosować zwykłą procedurę MLE do rozkładu trójkąta? - Próbuję, ale wydaje mi się, że jestem zablokowany na tym etapie matematyki przez sposób definiowania rozkładu. Próbuję wykorzystać fakt, że znam liczbę próbek powyżej i poniżej c (bez znajomości c): te 2 liczby to cn i (1-c) n, jeśli n jest całkowitą liczbą próbek. Jednak to nie wydaje się pomóc w wyprowadzeniu. Moment momentów daje estymator dla c bez większego problemu. Jaka jest dokładna natura przeszkody dla MLE tutaj (jeśli rzeczywiście istnieje)?

Więcej szczegółów:

Rozważmy w oraz dystrybucję zdefiniowaną na poprzez: [ 0 , 1 ] [ 0 , 1 $c$$[0,1]$$[0,1]$

$f(x;c) = \frac{2x}{c}$ jeśli x <c if c <= x
$f(x;c) = \frac{2(1-x)}{(1-c)}$

Weźmy IID próbki z tego rozkładu tworzą logarytm prawdopodobieństwo c podaną tej próbki:{ x i$n$$\{x_{i}\}$

$\hat{l}(c | \{x_{i}\}) = \sum_{i=1}^{n}ln(f(x_{i}|c))$

Próbuję następnie wykorzystać fakt, że biorąc pod uwagę postać , wiemy, że próbki spadną poniżej (nieznanego) , a spadną powyżej . IMHO, pozwala to na dekompozycję sumy wyrażającej prawdopodobieństwo dziennika w ten sposób:c n c ( 1 - c ) n $f$$cn$$c$$(1-c)n$$c$

$\hat{l}(c | \{x_{i}\}) = \sum_{i=1}^{cn}ln\frac{2 x_{i}}{c} + \sum_{i=1}^{(1-c)n}ln\frac{2(1-x_{i})}{1-c}$

Tutaj nie jestem pewien, jak postępować. MLE będzie wymagało wzięcia pochodnej wr prawdopodobieństwa logarytmicznego, ale mam jako górną granicę sumowania, która wydaje się to blokować. Mógłbym spróbować z inną formą prawdopodobieństwa dziennika, używając funkcji wskaźnika:$c$$c$

$\hat{l}(c | \{x_{i}\}) = \sum_{i=1}^{n}\{x_{i}<c\}ln\frac{2 x_{i}}{c} + \sum_{i=1}^{n}\{c<=x_{i}\}ln\frac{2(1-x_{i})}{1-c}$

Ale wyprowadzenie wskaźników również nie wydaje się łatwe, chociaż delty Diraca mogłyby pozwolić na kontynuację (wciąż mając wskaźniki, ponieważ musimy wyprowadzić produkty).

Więc tutaj jestem zablokowany w MLE. Dowolny pomysł?

Czy można zastosować zwykłą procedurę MLE do rozkładu trójkąta?

Na pewno! Chociaż należy poradzić sobie z pewnymi dziwactwami, w tym przypadku można obliczyć MLE.

Jeśli jednak przez „zwykłą procedurę” masz na myśli „weź pochodne prawdopodobieństwa log i ustaw je na zero”, to może nie.

Jaka jest dokładna natura przeszkody dla MLE tutaj (jeśli rzeczywiście istnieje)?

Czy próbowałeś narysować prawdopodobieństwo?

-

Dalsze działania po wyjaśnieniu pytania:

Pytanie o narysowanie prawdopodobieństwa nie było bezczynnym komentarzem, ale miało kluczowe znaczenie.

MLE będzie polegać na przyjmowaniu pochodnej

Nie. MLE polega na znalezieniu argmax funkcji. To wymaga tylko znalezienia zer pochodnej w określonych warunkach ... które nie mają tu miejsca. W najlepszym razie, jeśli uda ci się to zrobić, zidentyfikujesz kilka lokalnych minimów .

Jak sugerowało moje wcześniejsze pytanie, spójrz na prawdopodobieństwo.

Oto próbka, z 10 obserwacji z trójkątnego rozkładu na (0,1):$y$

0.5067705 0.2345473 0.4121822 0.3780912 0.3085981 0.3867052 0.4177924
0.5009028 0.8420312 0.2588613

Oto funkcje prawdopodobieństwa i wiarygodności dziennika dla dla tych danych: $c$

Szare linie oznaczają wartości danych (prawdopodobnie powinienem był wygenerować nową próbkę, aby uzyskać lepszy rozdział wartości). Czarne kropki oznaczają prawdopodobieństwo / log-prawdopodobieństwo tych wartości.

Oto powiększenie w pobliżu maksymalnego prawdopodobieństwa, aby zobaczyć więcej szczegółów:

Jak widać na podstawie prawdopodobieństwa, w wielu statystykach zamówień funkcja prawdopodobieństwa ma ostre „rogi” - punkty, w których pochodna nie istnieje (co nie jest zaskoczeniem - oryginalny plik PDF ma róg i bierzemy produkt pdf). To (że są statystyki w statystykach zamówień) ma miejsce w przypadku rozkładu trójkątnego, a maksimum zawsze występuje w jednej ze statystyk zamówień. (To, że występy występują przy statystykach zamówień, nie jest unikalne dla rozkładów trójkątnych; na przykład gęstość Laplace'a ma narożnik, w wyniku czego prawdopodobieństwo jego środka ma jeden dla każdej statystyki zamówienia).

Jak to bywa w mojej próbce, maksimum występuje jako statystyka czwartego rzędu, 0,3780912

Aby znaleźć MLE dla na (0,1), po prostu znajdź prawdopodobieństwo przy każdej obserwacji. Ten, który ma największe prawdopodobieństwo, to MLE z .$c$$c$

Przydatnym odniesieniem jest rozdział 1 „ Beyond Beta ” autorstwa Johana van Dorpa i Samuela Kotza. Tak się składa, że ​​rozdział 1 to darmowy „przykładowy” rozdział do książki - możesz go pobrać tutaj .

Eddie Oliver ma na ten temat piękny artykuł z trójkątnym rozkładem, jak sądzę w American Statistician (co w zasadzie dotyczy tych samych kwestii; myślę, że był w Kąciku Nauczyciela). Jeśli uda mi się go zlokalizować, podam go jako punkt odniesienia.

Edycja: tutaj jest:

EH Oliver (1972), A Maximum Likelihood Oddity,
The American Statistician , Vol 26, Issue 3, June, str. 43-44

( link wydawcy )

Jeśli możesz to łatwo zdobyć, warto zajrzeć, ale rozdział Dorp i Kotz obejmuje większość istotnych zagadnień, więc nie jest to kluczowe.

Kontynuując pytanie w komentarzach - nawet jeśli potrafisz znaleźć sposób na „wygładzenie” narożników, nadal będziesz musiał poradzić sobie z faktem, że możesz uzyskać wiele lokalnych maksimów:

Może być jednak możliwe znalezienie estymatorów o bardzo dobrych właściwościach (lepszych niż metoda momentów), które można łatwo zapisać. Ale ML na trójkącie na (0,1) to kilka wierszy kodu.

Jeśli chodzi o ogromne ilości danych, to też można sobie poradzić, ale myślę, że byłoby to inne pytanie. Na przykład, nie każdy punkt danych może być wartością maksymalną, co zmniejsza nakład pracy i można dokonać innych oszczędności.