Oszacowanie parametrów rozkładu t-Studenta

23

Jakie są estymatory największego prawdopodobieństwa dla parametrów rozkładu t Studenta? Czy istnieją w formie zamkniętej? Szybkie wyszukiwanie w Google nie dało mi żadnych wyników.

Dzisiaj interesuje mnie przypadek jednowymiarowy, ale prawdopodobnie będę musiał rozszerzyć model na wiele wymiarów.

EDYCJA: Właściwie najbardziej interesuje mnie lokalizacja i parametry skali. Na razie mogę założyć, że parametr stopni swobody jest stały, i ewentualnie użyć jakiegoś schematu numerycznego, aby później znaleźć optymalną wartość.

estimation maximum-likelihood t-distribution

— Grzenio
źródło

Według mojej wiedzy nie istnieją one w formie zamkniętej. Może być wymagane podejście z podejściem gradientowym.

— Pat

Chociaż rozkład t Studenta ma jeden parametr, w liczbie mnogiej odnosi się do „parametrów”. Czy może podajesz parametry lokalizacji i / lub skali?

— whuber

@ Whuber, dziękuję za komentarz, naprawdę interesują mnie parametry lokalizacji i skali, bardziej niż stopnie swobody.

— Grzenio

Przy danych

równanie prawdopodobieństwa dla parametru lokalizacji jest algebraicznie równoważne wielomianowi stopnia

. Czy uważasz, że zero takiego wielomianu ma być podane w „formie zamkniętej”?

n

$n$

2 n - 1

$2n-1$

— whuber

@ whuber, czy są jakieś specjalne przypadki dla małych n, np. n = 3?

— Grzenio

27

Forma zamknięta nie istnieje dla T, ale bardzo intuicyjne i stabilne podejście odbywa się za pomocą algorytmu EM. Ponieważ student jest mieszanką normalnych w skali, możesz napisać swój model jako

y_{ja} = μ + {mi}_{ja}

$y_i=\mu+e_i$

gdzie oraz $e_i|\sigma,w_i \sim N(0,\sigma^2w_i^{-1})$ . Oznacza to, że warunkowo namle są tylko ważone średnie i odchylenie standardowe. To jest krok „M” $w_i\sim Ga(\frac{\nu}{2}, \frac{\nu}{2})$ $w_i$

\hat{μ} = \frac{\sum_{ja} w_{ja} y_{ja}}{\sum_{ja} w_{ja}}

$\hat{\mu}=\frac{\sum_iw_iy_i}{ \sum_iw_i}$

{\hat{σ}}^{2)} = \frac{\sum_{ja} w_{ja} (y_{ja} - \hat{μ})^{2)}}{n}

$\hat{\sigma}^2= \frac{\sum_iw_i(y_i-\hat{\mu})^2}{n}$

Teraz „E” zastępuje krok z jego oczekiwaniem podane wszystkie dane. Jest to podane jako: $w_i$

{\hat{w}}_{ja} = \frac{(ν + 1) σ^{2)}}{ν σ^{2)} + (y_{ja} - μ)^{2)}}

$\hat{w}_i=\frac{(\nu+1) \sigma^2 }{\nu \sigma^2 +(y_i-\mu)^2}$

więc wystarczy powtórzyć powyższe dwa kroki, zastępując „prawą stronę” każdego równania bieżącymi oszacowaniami parametrów.

$\mu$ $\sigma^2$ $\sigma^2$ $(\nu+1)\sigma^2_{old}$ $\nu$ $\nu$

Należy zauważyć, że funkcja prawdopodobieństwa dziennika może mieć więcej niż jeden punkt stacjonarny, więc algorytm EM może zbiegać się w tryb lokalny zamiast trybu globalnego. Tryby lokalne można znaleźć, gdy parametr lokalizacji zostanie uruchomiony zbyt blisko wartości odstającej. Zatem rozpoczęcie od mediany jest dobrym sposobem na uniknięcie tego.

— prawdopodobieństwo prawdopodobieństwa
źródło

1

To cudownie. Od jakiegoś czasu bawiłem się pomysłem dopasowania studenta do EM, właśnie dlatego, że wygląda jak mieszanka gaussów. Czy masz cytat / odniesienie do podanych równań aktualizacji? Posiadanie tego jeszcze bardziej zwiększyłoby niesamowitość tego postu.

— Pat

Właściwie myślę, że sam go znalazłem, dla modelu mieszanego t-Studenta (którego tak zamierzam użyć do różnych rzeczy): Mieszanki rozkładów T-Studenta jako solidne ramy dla sztywnej rejestracji. Demetrios Gerogiannis, Christophoros Nikou, Aristidis Likas. Przetwarzanie obrazu i obrazu 27 (2009) 1285–1294.

— Pat

Link w mojej odpowiedzi na to pytanie ma bardzo ogólną strukturę EM dla obciążeń i obciążeń funkcji prawdopodobieństwa - kwantylowych, studenckich, logistycznych i wykonuje regresję ogólną. Twój konkretny przypadek to „regresja” bez zmiennych towarzyszących - tylko przechwytuj - więc ładnie pasuje do tego frameworka. Ponadto istnieje wiele karnych terminów, które możesz włączyć do tych ram.

— probabilityislogic

ν

$\nu$

Myślę, że to odniesienie jest lepsze niż @ Pat. „SZACUNEK ML DYSTRYBUCJI Z WYKORZYSTANIEM EM I JEGO ROZSZERZEŃ, ECM I ECME.” Musisz być bardzo ostrożny przy wyborze początkowej wartości parametru podczas działania algorytmu EM ze względu na lokalny optymalny problem. Innymi słowy, musisz wiedzieć coś o swoich danych. Zazwyczaj w swoich badaniach unikam zastosowania rozkładu t.

4

Poniższy artykuł odnosi się dokładnie do problemu, który napisałeś.

Liu C. i Rubin DB 1995. „Szacowanie ML rozkładu t przy użyciu EM i jego rozszerzeń, ECM i ECME”. Statistica Sinica 5: 19–39.

Zapewnia ogólne oszacowanie parametru wielowymiarowego rozkładu t, z lub bez wiedzy o stopniu swobody. Procedurę można znaleźć w rozdziale 4 i jest ona bardzo podobna do logiki prawdopodobieństwa dla 1-wymiaru.

— mitchshih
źródło

7

Wygląda na to, że artykuł, do którego się odwołujesz, zawiera przydatną odpowiedź na pytanie, ale odpowiedzi są lepsze, gdy są samodzielne i nie wymagają zewnętrznych zasobów (tutaj, na przykład, możliwe jest, że OP lub czytelnicy nie mają dostępu do tego artykułu) ). Czy mógłbyś trochę rozwinąć swoją odpowiedź, aby była bardziej samodzielna?

— Patrick Coulombe,

3

\frac{Γ (\frac{ν + 1}{2)})}{\sqrt{ν π} Γ (\frac{ν}{2)})} {(1 + \frac{t^{2)}}{ν})}^{- \frac{ν + 1}{2)}} = \frac{Γ (\frac{ν + 1}{2)})}{\sqrt{ν π} Γ (\frac{ν}{2)})} \exp {[\ln (1 + \frac{t^{2)}}{ν})] [- \frac{ν + 1}{2)}]}

$\frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \left(1+\frac{t^2}{\nu} \right)^{-\frac{\nu+1}{2}} = \frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \exp \left \{ \left [ \ln \left(1+\frac{t^2}{\nu} \right) \right ] \left [ {-\frac{\nu+1}{2}} \right ]\right \}$

ν

$\nu$

n

$n$

n

$n$

ν \to \infty

$\nu \rightarrow \infty$

— Lucozade
źródło

1

Nawet w ustawieniu Gaussa prawdopodobieństwo dziennika jest nieliniowe w swoich parametrach :-).

— whuber

Właściwie interesują mnie parametry lokalizacji i skali, bardziej niż stopnie swobody. Zobacz edycję pytania i przepraszamy za nieprecyzyjne.

— Grzenio

2

Niedawno odkryłem estymator w formie zamkniętej dla skali rozkładu t Studenta. Według mojej najlepszej wiedzy jest to nowy wkład, ale chętnie przyjmę komentarze sugerujące wszelkie powiązane wyniki. Artykuł opisuje tę metodę w kontekście rodziny rozkładów „wykładniczych sprzężonych”. Wartość t Studenta jest określana jako Sprzężony Gaussa, gdzie termin sprzężenia jest odwrotnością stopnia swobody. Statystyka w formie zamkniętej jest średnią geometryczną próbek. Zakładając wartość sprzężenia lub stopień swobody, oszacowanie skali jest określane przez pomnożenie średniej geometrycznej próbek przez funkcję obejmującą sprzężenie i liczbę harmoniczną.

https://arxiv.org/abs/1804.03989 Zastosowanie średniej geometrycznej jako statystyki dla skali sprzężonych rozkładów Gaussa, Kenric P. Nelson, Mark A. Kon, Sabir R. Umarov

— Kenric
źródło