Pytania otagowane jako maximum-likelihood

Czy możesz podać przykład estymatora MLE średniej stronniczości? Nie szukam przykładu, który ogólnie łamie estymatory MLE, naruszając warunki regularności. Wszystkie przykłady, które widzę w Internecie, odnoszą się do wariancji i nie mogę znaleźć niczego związanego ze średnią. EDYTOWAĆ @MichaelHardy podał przykład, w którym otrzymujemy tendencyjne oszacowanie średniej rozkładu jednolitego przy …

17 maximum-likelihood  mean  bias 

To pytanie zwalidowane krzyżowo z pytaniem o symulację próbki uwarunkowanej ustaloną sumą przypomniało mi o problemie postawionym mi przez George'a Casellę . fa(x|θ)f(x|θ)f(x|\theta)(X1,…,Xn)(X1,…,Xn)(X_1,\ldots,X_n)θθ\thetaθ^(x1,…,xn)=argmin∑i=1nlogf(xi|θ)θ^(x1,…,xn)=arg⁡min∑i=1nlog⁡f(xi|θ)\hat{\theta}(x_1,\ldots,x_n)=\arg\min \sum_{i=1}^n \log f(x_i|\theta)θθ\theta θ (X1,...,xn)(X1,…,Xn)(X1,…,Xn)(X_1,\ldots,X_n)θ^(X1,…,Xn)θ^(X1,…,Xn)\hat{\theta}(X_1,\ldots,X_n) Weźmy na przykład rozkład , z parametrem lokalizacji , którego gęstość wynosi If jak możemy symulować uwarunkowane na ? W tym przykładzie …

17 maximum-likelihood  conditional-probability  random-variable  simulation  t-distribution 

Pytanie Wariancja ujemnego rozkładu dwumianowego (NB) jest zawsze większa niż jego średnia. Gdy średnia próbki jest większa niż jej wariancja, próba dopasowania parametrów NB z maksymalnym prawdopodobieństwem lub oszacowaniem momentu zakończy się niepowodzeniem (nie ma rozwiązania z parametrami skończonymi). Jednak możliwe jest, że próbka pobrana z rozkładu NB ma wartość …

17 estimation  maximum-likelihood  negative-binomial 

Wynika to częściowo z następującego pytania i następującej po nim dyskusji. Załóżmy, że zaobserwowano próbkę iid, Xi∼F(x,θ)Xi∼F(x,θ)X_i\sim F(x,\theta) . Celem jest oszacowanie θθ\theta . Ale oryginalna próbka nie jest dostępna. Co mamy w zamian pewne statystyki próbki T1,...,TkT1,...,TkT_1,...,T_k . Załóżmy, że jest naprawiony. Jak oceniamy ? Jaki byłby w tym …

17 estimation  maximum-likelihood 

Pracujemy z pewnymi regresjami logistycznymi i zdaliśmy sobie sprawę, że średnie oszacowane prawdopodobieństwo zawsze równa jest proporcji jednych w próbie; to znaczy, średnia dopasowanych wartości jest równa średniej próbki. Czy ktoś może mi wyjaśnić przyczynę lub podać źródło, w którym mogę znaleźć tę demonstrację?

17 regression  logistic  modeling  generalized-linear-model  maximum-likelihood 

Pytanie (pytania): Jaki jest pomysł i intuicja za quasi-maksymalnym oszacowaniem prawdopodobieństwa (QMLE; znany również jako pseudo maksymalne oszacowanie prawdopodobieństwa, PMLE)? Co sprawia, że ​​estymator działa, gdy faktyczny rozkład błędów nie odpowiada założonemu rozkładowi błędów? Strona Wikipedii dla QMLE jest w porządku (krótki, intuicyjny, do punktu), ale mogę użyć trochę więcej …

17 maximum-likelihood  references  intuition  quasi-likelihood 

W standardowym ustawieniu maksymalnego prawdopodobieństwa (np. Próbka Y1,…,YnY1,…,YnY_{1}, \ldots, Y_{n} z pewnego rozkładu o gęstości )), aw przypadku poprawnie określonego modelu, informacje Fishera podaje:fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} I(θ)=−Eθ0[∂2θ2lnfy(θ)]I(θ)=−Eθ0[∂2θ2ln⁡fy(θ)]I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right] gdzie oczekiwane jest rzeczywiste zagęszczenie, które wygenerowało dane. Czytałem, że zaobserwowałem informację Fishera J^(θ)=−∂2θ2lnfy(θ)J^(θ)=−∂2θ2ln⁡fy(θ)\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) jest używana głównie, ponieważ …

17 maximum-likelihood  fisher-information 

Jak dopasować parametry rozkładu t, tj. Parametry odpowiadające „średniej” i „odchyleniu standardowemu” rozkładu normalnego. Zakładam, że są one nazywane „średnimi” i „skalowaniem / stopniami swobody” dla rozkładu t? Poniższy kod często powoduje błędy „nieudana optymalizacja”. library(MASS) fitdistr(x, "t") Czy najpierw muszę skalować x, czy przeliczać na prawdopodobieństwa? Jak najlepiej to …

17 r  distributions  maximum-likelihood  fitting  robust 

Staram się odtworzyć z optimwynikami prostej regresji liniowej zaopatrzonej glmlub nawet nlsfunkcje R. Oszacowania parametrów są takie same, ale oszacowanie wariancji rezydualnej i błędy standardowe innych parametrów nie są takie same, szczególnie gdy wielkość próby jest niska. Przypuszczam, że jest to spowodowane różnicami w sposobie obliczania resztkowego błędu standardowego między …

16 r  maximum-likelihood  optimization 

Próbuję udowodnić, że obserwowana matryca informacji oceniana przy mało spójnym estymatorze maksymalnego prawdopodobieństwa (MLE), jest słabo spójnym estymatorem oczekiwanej matrycy informacji. Jest to często cytowany wynik, ale nikt nie podaje odniesienia ani dowodu (wyczerpałem się, myślę, że pierwsze 20 stron wyników Google i podręczników statystyk)! Używając słabo spójnej sekwencji MLE, …

16 maximum-likelihood  expected-value  asymptotics  information  fisher-information 

Oszacowanie parametrów przy użyciu oszacowania maksymalnego prawdopodobieństwa (MLE) obejmuje ocenę funkcji wiarygodności, która odwzorowuje prawdopodobieństwo wystąpienia próbki (X) na wartości (x) w przestrzeni parametrów (θ) dla danej rodziny rozkładów (P (X = x | θ) ) ponad możliwymi wartościami θ (uwaga: czy mam rację?). Wszystkie przykłady, które widziałem, obejmują obliczanie …

16 maximum-likelihood 

Jednowymiarowy wykładniczy proces Hawkesa jest samo-ekscytującym procesem punktowym, którego wskaźnik przybywania zdarzeń wynosi: λ(t)=μ+∑ti&lt;tαe−β(t−ti)λ(t)=μ+∑ti&lt;tαe−β(t−ti) \lambda(t) = \mu + \sum\limits_{t_i<t}{\alpha e^{-\beta(t-t_i)}} gdzie to czasy przyjazdu zdarzenia.t1,..tnt1,..tn t_1,..t_n Funkcja wiarygodności dziennika to −tnμ+αβ∑(e−β(tn−ti)−1)+∑i&lt;jln(μ+αe−β(tj−ti))−tnμ+αβ∑(e−β(tn−ti)−1)+∑i&lt;jln⁡(μ+αe−β(tj−ti)) - t_n \mu + \frac{\alpha}{\beta} \sum{( e^{-\beta(t_n-t_i)}-1 )} + \sum\limits_{i<j}{\ln(\mu+\alpha e^{-\beta(t_j-t_i)})} które można obliczyć rekurencyjnie: −tnμ+αβ∑(e−β(tn−ti)−1)+∑ln(μ+αR(i))−tnμ+αβ∑(e−β(tn−ti)−1)+∑ln⁡(μ+αR(i)) - t_n \mu …

16 maximum-likelihood  stochastic-processes  likelihood 

Jestem zdezorientowany co do metody maksymalnego prawdopodobieństwa w porównaniu do np. Obliczania średniej arytmetycznej. Kiedy i dlaczego maksymalne prawdopodobieństwo daje „lepsze” oszacowania niż np. Średnia arytmetyczna? Jak to można zweryfikować?

16 maximum-likelihood 

Jakie są zalety i wady obu metod?

16 maximum-likelihood  predictive-models  optimization  gradient-descent 

Różne opisy wyboru modeli losowych efektów liniowych modeli mieszanych instruują użycie REML. Znam różnicę między REML i ML na pewnym poziomie, ale nie rozumiem, dlaczego REML powinien być używany, ponieważ ML jest stronniczy. Na przykład, czy błędem jest przeprowadzanie LRT na parametrze wariancji normalnego modelu dystrybucji przy użyciu ML (patrz …

16 mixed-model  maximum-likelihood  unbiased-estimator  likelihood-ratio  reml