Przykłady, w których metoda momentów może przekroczyć maksymalne prawdopodobieństwo w małych próbkach?

57

Estymatory maksymalnego prawdopodobieństwa (MLE) są asymptotycznie skuteczne; widzimy praktyczny wynik w tym, że często wypadają lepiej niż szacunki metodą momentów (MoM) (gdy się różnią), nawet przy małych próbkach

Tutaj „lepsze niż” oznacza w tym sensie, że zazwyczaj ma mniejszą wariancję, gdy oba są obiektywne, i zazwyczaj mniejszy średni błąd kwadratowy (MSE) bardziej ogólnie.

Powstaje jednak pytanie:

Czy istnieją przypadki, w których MoM może pokonać MLE - na przykład w MSE - w małych próbkach?

(gdy nie jest to jakaś dziwna / zdegenerowana sytuacja - tj. biorąc pod uwagę, że warunki istnienia / utrzymywania ML są asymptotycznie skuteczne)

Kolejne pytanie brzmiałoby: „jak duży może być mały?” - to znaczy, jeśli istnieją przykłady, czy istnieją takie, które nadal zachowują względnie duże rozmiary próbek, być może nawet wszystkie skończone rozmiary próbek?

[Mogę znaleźć przykład stronniczego estymatora, który może pokonać ML w skończonych próbkach, ale to nie jest MoM.]

Uwaga dodana z mocą wsteczną: w tym miejscu skupiam się głównie na przypadku jednowymiarowym (z którego właśnie pochodzi moja podstawowa ciekawość). Nie chcę wykluczyć przypadków wielowymiarowych, ale nie chcę też szczególnie angażować się w dłuższe dyskusje na temat oszacowań Jamesa-Steina.

— Glen_b
źródło

Nie ma problemu; zdarza się nam wszystkim i mi częściej niż tobie. Prawdopodobnie powinienem był umieścić to w tytule, ale było już dość długo.

— Glen_b

@ kardynał Uściśliłem teraz kryteria.

— Glen_b

3

Istnieją inne sposoby, w jakie metoda momentów może „pokonać” maksymalne prawdopodobieństwo. Na przykład w normalnych problemach z oszacowaniem mieszaniny MLE jest niezwykle trudne do obliczenia, podczas gdy MoM nie.

— vqv

@vqv Z pewnością w tym sensie MoM może być lepszy.

— Glen_b

2

Ponieważ mam tendencję do sympatyzowania z plebejuszami, informuję, że w próbce Iid Uniforms estymator MoM dla ma to samo MSE z patrycjuszem (MLE), jeśli wielkość próby wynosi lub ... Ale, niestety, w przypadku większych próbek patrycjusz ponownie potwierdza swoją suwerenność ...

U (0, θ)

$U(0,\theta)$

θ

$\theta$

1

$1$

2

$2$

— Alecos Papadopoulos

36

Można to uznać za oszustwo, ale estymator OLS jest estymatorem MoM. Rozważ standardową specyfikację regresji liniowej (z regresorami stochastycznymi , więc wielkości są uwarunkowane macierzą regresora) i próbkę o wielkości . Oznacz estymator OLS wariancji terminu błędu. Jest to więc bezstronne $K$ $n$ $s^2$ $\sigma^2$

M S E (s^{2}) = Var (s^{2}) = \frac{2 σ^{4}}{n - K}

$MSE(s^2) = \operatorname {Var}(s^2) = \frac {2\sigma^4}{n-K}$

Rozważ teraz MLE . To jest $\sigma^2$

{\hat{σ}}_{M L}^{2} = \frac{n - K}{n} s^{2}

$\hat \sigma^2_{ML} = \frac {n-K}{n}s^2$ Czy to tendencyjne. Jego MSE to

M S E ({\hat{σ}}_{M L}^{2}) = Var ({\hat{σ}}_{M L}^{2}) + [E ({\hat{σ}}_{M L}^{2}) - σ^{2}]^{2}

$MSE (\hat \sigma^2_{ML}) = \operatorname {Var}(\hat \sigma^2_{ML}) + \Big[E(\hat \sigma^2_{ML})-\sigma^2\Big]^2$ Wyrażając MLE w kategoriach OLS i używając wyrażenia dla wariancji estymatora OLS otrzymujemy

M S E ({\hat{σ}}_{M L}^{2}) = {(\frac{n - K}{n})}^{2} \frac{2 σ^{4}}{n - K} + {(\frac{K}{n})}^{2} σ^{4}

$MSE (\hat \sigma^2_{ML}) = \left(\frac {n-K}{n}\right)^2\frac {2\sigma^4}{n-K} + \left(\frac {K}{n}\right)^2\sigma^4$

\Rightarrow M S E ({\hat{σ}}_{M L}^{2}) = \frac{2 (n - K) + K^{2}}{n^{2}} σ^{4}

$\Rightarrow MSE (\hat \sigma^2_{ML}) = \frac {2(n-K)+K^2}{n^2}\sigma^4$

Chcemy warunków (jeśli istnieją), w których

M S E ({\hat{σ}}_{M L}^{2}) > M S E (s^{2}) \Rightarrow \frac{2 (n - K) + K^{2}}{n^{2}} > \frac{2}{n - K}

$MSE (\hat \sigma^2_{ML}) > MSE (s^2) \Rightarrow \frac {2(n-K)+K^2}{n^2} > \frac {2}{n-K}$

\Rightarrow 2 (n - K)^{2} + K^{2} (n - K) > 2 n^{2}

$\Rightarrow 2(n-K)^2+K^2(n-K)> 2n^2$

2 n^{2} - 4 n K + 2 K^{2} + n K^{2} - K^{3} > 2 n^{2}

$2n^2 -4nK + 2K^2 +nK^2 - K^3 > 2n^2$ Upraszczając otrzymujemy Czy jest możliwe, aby ten kwadrat w uzyskiwał wartości ujemne? Potrzebujemy, aby dyskryminator był pozytywny. Mamy , która jest inna kwadratowy w tego czasu. Ta dyskryminacja to więc aby wziąć pod uwagę fakt, że jest liczbą całkowitą. Jeśli

- 4 n + 2 K + n K - K^{2} > 0 \Rightarrow K^{2} - (n + 2) K + 4 n < 0

$-4n + 2K +nK - K^2 > 0 \Rightarrow K^2 - (n+2)K + 4n < 0$

K

$K$

Δ_{K} = (n + 2)^{2} - 16 n = n^{2} + 4 n + 4 - 16 n = n^{2} - 12 n + 4

$\Delta_K = (n+2)^2 -16n = n^2 + 4n + 4 - 16n = n^2 -12n + 4$

n

$n$

Δ_{n} = 12^{2} - 4^{2} = 8 \cdot 16

$\Delta_n = 12^2 - 4^2 = 8\cdot 16$

n_{1}, n_{2} = \frac{12 \pm \sqrt{8 \cdot 16}}{2} = 6 \pm 4 \sqrt{2} \Rightarrow n_{1}, n_{2} = {1, 12}

$n_1,n_2 = \frac {12\pm \sqrt{8\cdot 16}}{2} = 6 \pm 4\sqrt2 \Rightarrow n_1,n_2 = \{1, 12\}$

n

$n$

n

$n$ znajduje się w tym przedziale, że a w przyjmuje zawsze wartości dodatnie, więc nie możemy uzyskać wymaganej nierówności. Tak więc: potrzebujemy wielkości próbki większej niż 12.

Δ_{K} < 0

$\Delta_K <0$

K

$K$

Biorąc to pod uwagę, korzenie są dla kwadratowe $K$

K_{1}, K_{2} = \frac{(n + 2) \pm \sqrt{n^{2} - 12 n + 4}}{2} = \frac{n}{2} + 1 \pm \sqrt{{(\frac{n}{2})}^{2} + 1 - 3 n}

$K_1, K_2 = \frac {(n+2)\pm \sqrt{n^2 -12n + 4}}{2} = \frac n2 +1 \pm \sqrt{\left(\frac n2\right)^2 +1 -3n}$

Ogólnie: dla próbki o wielkości i liczby regresorów tak, że mamy Dla na przykład, jeśli wówczas okazuje się, że liczba regresorów musi wynosić aby nierówność się utrzymała. Interesujące jest to, że dla niewielkiej liczby regresorów MLE jest lepszy w sensie MSE. $n>12$ $K$ $\lceil K_1\rceil <K<\lfloor K_2\rfloor$

M S E ({\hat{σ}}_{M L}^{2}) > M S E (s^{2})

$MSE (\hat \sigma^2_{ML}) > MSE (s^2)$

n = 50

$n=50$

5 < K < 47

$5<K<47$

DODATEK Można zapisać
równanie dla pierwiastków kwadratyki $K$

K_{1}, K_{2} = (\frac{n}{2} + 1) \pm \sqrt{{(\frac{n}{2} + 1)}^{2} - 4 n}

$K_1, K_2 = \left(\frac n2 +1\right) \pm \sqrt{\left(\frac n2 +1\right)^2 -4n}$ co, jak sądzę , po szybkim spojrzeniu sugeruje, że dolny root zawsze będzie być (biorąc pod uwagę ograniczenie „liczby całkowitej”) - więc MLE będzie efektywny pod względem MSE, gdy regresory będą mieć maksymalnie dla dowolnej (skończonej) wielkości próbki.

5

$5$

5

$5$

— Alecos Papadopoulos
źródło

1

Cóż, warunkiem teoretycznym momentu dołączonego do specyfikacji jest . W stopniu, w jakim używamy przykładowego analogu jako estymatora dla , powiedziałbym, że tak.

E (u^{'} u ∣ X) = σ^{2}

$E(u'u\mid X) = \sigma^2$

E (u^{'} u ∣ X)

$E(u'u \mid X)$

σ^{2}

$\sigma^2$

— Alecos Papadopoulos,

1

@AlecosPapadopoulos „Próbka analogowa”, jak twierdziłbym, wziąłaby za mianownik, tj. Byłaby taka sama jak MLE. Jeśli zastępujesz teoretyczne oczekiwanie empirycznym oczekiwaniem, jak możesz skończyć z w mianowniku? Naturalne warunki momentu należy i i zastępując z oczekiwaniami empirycznych dostanie ty w mianowniku.

n

$n$

n - K

$n - K$

E [X_{k} (Y - X β)] = 0

$E[X_k(Y - X \beta)] = 0$

E [(Y - X β)^{2}] = σ^{2}

$E[(Y - X\beta)^2] = \sigma^2$

n

$n$

— facet

2

@guy To ważna uwaga. Korekta stopni swobody zawsze była dla mnie zagadnieniem konceptualnym w metodzie momentów. W końcu „próbka analogowa” nie jest ścisłym pojęciem i jest powiązana z pojęciem „próbka oznacza” poprzez asymptotyczną zgodność tego ostatniego z oczekiwaną wartością - ale w asymptotycznym układzie, dzielenie przez zamiast nie nie robić żadnej różnicy. Dla mnie pozostaje to nierozwiązana sprawa. Z drugiej strony, estymator maksymalnego prawdopodobieństwa jest konkretnie określony przez równania prawdopodobieństwa i może, ale nie musi pokrywać się z MoM. (CONTD)

n - K

$n-K$

n

$n$

— Alecos Papadopoulos

1

@guy (CONTD). Więc to, co mówią, że estymator MoM wariancji błędu w tym przypadku jest maksymalny estymator prawdopodobieństwa, a więc wynik I pochodzić nie porównuje mama z ML, ale ML z OLS (przy czym ten ostatni kategorii we własnym zakresie). .. tak, można argumentować, że tak jest (również) w tym przypadku.

— Alecos Papadopoulos

1

Czy istnieje coś takiego jak „estymator” MoM? To „estymator” MoM, prawda? Jeśli weźmiesz losowo wybrane resztki OLS, , to . To idealnie dobry moment, prawda? I daje idealnie dobrą MoM dla , nie? Mianowicie zwykły estymator OLS, .

e

$e$

E (e^{2}) = \frac{n - k}{n} σ^{2}

$E(e^2)=\frac{n-k}{n}\sigma^2$

σ^{2}

$\sigma^2$

s^{2}

$s^2$

— Bill

17

„W tym artykule rozważamy nową parametryzację dwuparametrowego odwrotnego rozkładu Gaussa. Znajdujemy estymatory parametrów odwrotnego rozkładu Gaussa metodą momentów i metodą największego prawdopodobieństwa. Następnie porównujemy wydajność estymatory dla obu metod oparte na ich odchyleniu i średnim błędzie kwadratowym (MSE). W tym celu ustalamy wartości parametrów, przeprowadzamy symulacje oraz raportujemy MSE i odchylenie dla oszacowań uzyskanych za pomocą obu metod. Wniosek jest taki, że gdy wielkości próbek wynoszą 10, metoda momentów wydaje się być bardziej wydajna niż metoda maksymalnego prawdopodobieństwa dla oszacowań obu parametrów (lambda i theta) .... " czytaj więcej

W dzisiejszych czasach nie można (lub nie należy) ufać wszystkim opublikowanym, ale ostatnia strona artykułu wydaje się obiecująca. Mam nadzieję, że adres ten zostanie dodany retrospektywnie.

— Hibernacja
źródło

1

Jeśli dobrze rozumiem tabele w tym artykule, to uważam, że masz rację - przy niektórych rozmiarach próby metoda momentów (MME w artykule) wydaje się przewyższać MLE, przynajmniej po oszacowaniu . (Jednak niektóre wyniki symulacji wydają się więcej niż trochę dziwne - np. Progresja skrajnej prawej kolumny na p49.) - jest to dla mnie bardzo interesujący wynik, ponieważ odwrotny gaussian jest stosunkowo szeroko stosowany.

θ

$\theta$

— Glen_b

Dobre znalezisko! Nawet jeśli wyniki są nieaktualne, miło jest widzieć gdzieś wyraźnie stwierdzone twierdzenie.

— Ben Ogorek

Artykuł, do którego podłączyłem w mojej odpowiedzi, pochodzi z pracy magisterskiej, która jest dostępna w całości tutaj: digi.library.tu.ac.th/thesis/st/0415 Patrz np. Sekcja 5.2 dla odpowiedniego stwierdzenia. Sześć osób, w tym profesor zwyczajny, poparło ten wynik.

— Hibernacja

14

Według symulacji przeprowadzonych przez Hoskinga i Wallisa (1987) w „Estymacji parametrów i kwantyli dla uogólnionego rozkładu Pareto” parametry dwuparametrowego uogólnionego rozkładu Pareto podane przez cdf

$G(y)= \begin{cases} 1-\left(1+ \frac{\xi y}{\beta} \right)^{-\frac{1}{\xi}} & \xi \neq 0 \\ 1-\exp\left(-\frac{y}{\beta}\right) & \xi=0 \end{cases}$

lub gęstość

$g(y)= \begin{cases} \frac{1}{\beta} \left( 1+\frac{\xi y}{\beta} \right)^{-1-\frac{1}{\xi}} & \xi \neq 0 \\ \frac{1}{\beta} \exp\left(-\frac{y}{\beta} \right) & \xi=0 \end{cases}$

są bardziej wiarygodne, jeśli są szacowane za pomocą MOM, a nie ML. Dotyczy to próbek do wielkości 500. Szacunki MOM są podane przez

$\widehat\beta = \frac{\overline y \overline{y^2}}{2(\overline{y^2} - (\overline y)^2)}$

i

$\widehat\xi = \frac{1}{2} - \frac{(\overline y)^2}{2(\overline{y^2} - (\overline y)^2)}$

z

$\overline{y^2} = \frac{1}{n} \sum_{i=1}^n y_i^2$

Artykuł zawiera sporo literówek (przynajmniej moja wersja). Wyniki dla wyżej wymienionych estymatorów MOM zostały uprzejmie dostarczone przez „heropup” w tym wątku .

— Joz
źródło

Dzięki za to. To jeden z najprostszych przykładów tego, czego do tej pory szukałem.

— Glen_b

13

Znalazłem jedno:

Do asymetrycznego wykładniczego rozkładu mocy

f (x) = \frac{α}{σ Γ (\frac{1}{α})} \frac{κ}{1 + κ^{2}} \exp (- \frac{κ^{α}}{σ^{α}} [(x - θ)^{+}]^{α} - \frac{1}{κ^{α} σ^{α}} [(x - θ)^{-}]^{α}), α, σ, κ > 0, and x, θ \in R

$f(x) = \frac{\alpha}{\sigma\Gamma(\frac{1}{\alpha})} \frac{\kappa}{1+\kappa^2}\exp\left(-\frac{\kappa^\alpha}{\sigma^\alpha}[(x-\theta)^+]^\alpha -\frac{1}{\kappa^\alpha \sigma^\alpha}[(x-\theta)^-]^\alpha\right)\,,\quad \alpha,\sigma,\kappa>0, \text{ and } x,\theta\in \mathbb R$

wyniki symulacji Delicado i Gorii (2008) sugerują, że dla niektórych parametrów przy mniejszych rozmiarach próby metoda momentów może przewyższać MLE; na przykład w known- przypadku próbek o rozmiarze 10, podczas szacowania , MSE MOM jest mniejsza niż ML. $\theta$ $\sigma$

Delicado i Goria (2008),
Małe porównanie porównania metod maksymalnego prawdopodobieństwa, momentów i momentów L dla asymetrycznego wykładniczego rozkładu mocy,
Journal Computational Statistics & Data Analysis
Volume 52 Issue 3, January, str. 1661-1673

(patrz także http://www-eio.upc.es/~delicado/my-public-files/LmomAEP.pdf )

— Glen_b
źródło

13

Metoda momentów (MM) może pobić podejście oparte na maksymalnym prawdopodobieństwie (ML), gdy możliwe jest określenie tylko niektórych momentów populacji. Jeśli rozkład jest źle zdefiniowany, estymatory ML nie będą spójne.

Zakładając skończone momenty i obserwacje, MM może zapewnić dobre estymatory z ładnymi właściwościami asymptotycznymi.

Przykład: Niech będzie próbką , gdzie jest nieznaną funkcją gęstości prawdopodobieństwa. Określić o th chwili i uważa, że procentowa jest oszacowanie dalej chwili . $X_1, \ldots, X_n$ $X \sim f$ $f: \mathbb{R} \to \mathbb{R}_+$ $\nu_k = \int_{\mathbb{R}} x^k f(x)dx$ $k$ $\nu_4$

Niech , a następnie przyjmując, że , centralne twierdzenie o limicie gwarantuje, że gdzie „ ” oznacza „zbiega się w dystrybucji do” . Ponadto, według twierdzenia Słuckiego, $\bar{X_k} = \frac{1}{n}\sum_{i=1}^n X_i^k$ $\nu_8 < \infty$

\sqrt{n} (\bar{X_{4}} - ν_{4}) \overset{d}{\to} N (0, ν_{8} - ν_{4}^{2}),

$\sqrt{n}(\bar{X_4} - \nu_4) \stackrel{d}{\to} N(0, \nu_8 - \nu_4^2),$

\overset{d}{\to}

$\stackrel{d}{\to}$

\frac{\sqrt{n} (\bar{X_{4}} - ν_{4})}{\sqrt{\bar{X_{8}} - {\bar{X_{4}}}^{2}}} \overset{d}{\to} N (0, 1)

$\frac{\sqrt{n}(\bar{X_4} - \nu_4)}{\sqrt{\bar{X_8} - \bar{X_4}^2}} \stackrel{d}{\to} N(0, 1)$ od (zbieżność prawdopodobieństwa).

\bar{X_{8}} - {\bar{X_{4}}}^{2} \overset{P}{\to} ν_{8} - ν_{4}^{2}

$\bar{X_8} - \bar{X_4}^2 \stackrel{P}{\to} \nu_8 - \nu_4^2$

Oznacza to, że możemy wyciągnąć (przybliżone) wnioski dla , stosując podejście momentowe (dla dużych próbek), musimy jedynie przyjąć pewne założenia dotyczące interesujących momentów populacji. W tym przypadku nie można zdefiniować estymatorów maksymalnego prawdopodobieństwa bez znajomości kształtu . $\nu_4$ $f$

Badanie symulacyjne:

Patriota i in. (2009) przeprowadził kilka badań symulacyjnych w celu weryfikacji wskaźników odrzucenia testów hipotez w modelu błędów zmiennych. Wyniki sugerują, że metoda MM generuje poziomy błędów przy hipotezie zerowej bliższej poziomowi nominalnemu niż poziom ML dla małych próbek.

Nota historyczna:

Metodę chwil zaproponował K. Pearson w 1894 r. „Wkład w matematyczną teorię ewolucji”. Metodę największego prawdopodobieństwa zaproponował RA Fisher w 1922 r. „O matematycznych podstawach statystyki teoretycznej”. Oba artykuły zostały opublikowane w Philosophical Transactions of Royal Society of London, Series A.

Odniesienie:

Fisher, RA (1922). O matematycznych podstawach statystyki teoretycznej, transakcjach filozoficznych Royal Society of London, Seria A, 222, 309-368.

Patriota, AG, Bolfarine, H, de Castro, M (2009). Heteroscedastyczny model strukturalnych błędów w zmiennych z błędem równania, Metodologia statystyczna 6 (4), 408-423 ( pdf )

Pearson, K (1894). Wkład w matematyczną teorię ewolucji, transakcje filozoficzne Royal Society of London, Seria A, 185, 71-110.

— Alexandre Patriota
źródło

1

Twoja odpowiedź brzmi jak potencjalnie interesująca. Czy jesteś w stanie trochę się rozwinąć? Nie jestem pewien, czy całkiem rozumiem.

— Glen_b

@Glen_b, proszę sprawdź, czy mój ostatni dodatek Ci pomaga.

— Alexandre Patriota

Dziękuję za to; Wierzę, że rozumiem, o co ci chodzi.

— Glen_b

OK, jest to ogólny komentarz, ale myślę, że odpowiada na twoje pytanie. Jeśli podasz całkowitą informację o zachowaniu danych, całkiem naturalne jest, że podejście ML przewyższa podejście MM. W pracy [1] przeprowadzamy kilka badań symulacyjnych w celu weryfikacji wskaźników odrzucania testów hipotez w modelu błędów zmiennych. Wyniki sugerują, że metoda MM generuje poziomy błędów przy hipotezie zerowej bliższej poziomowi nominalnemu niż poziom ML dla małych próbek. [1] ime.usp.br/~patriota/STAMET-D-08-00113-revised-v2.pdf

— Alexandre Patriota

Jest to nietypowy przykład metody momentów (MoM). MoM jest zwykle stosowany w problemach estymacji parametrycznej, w których istnieje dobrze zdefiniowana rodzina rozkładów parametrycznych. Z drugiej strony możesz tutaj zdefiniować nieparametryczne oszacowanie maksymalnego prawdopodobieństwa. Empiryczna funkcja rozkładu, powiedzmy F-kapelusz, jest nieparametrycznym oszacowaniem maksymalnego prawdopodobieństwa nieznanej funkcji rozkładu F. Biorąc pod uwagę, że 4. moment jest funkcją F, nieparametryczny MLE 4. momentu jest 4. momentem F-kapelusza . Jest to to samo co przykładowy 4. moment.

— vqv

5

Dodatkowe źródła na korzyść MOM:

Hong, HP i W. Ye. 2014. Analiza ekstremalnych obciążeń śniegiem gruntu dla Kanady z wykorzystaniem zapisów głębokości śniegu . Zagrożenia naturalne 73 (2): 355–371.

Zastosowanie MML może dać nierealistyczne prognozy, jeśli wielkość próby jest niewielka (Hosking i in. 1985; Martin and Stedinger 2000).

Martins, ES i JR Stedinger. 2000. Uogólnione estymatory kwantyli o największej wartości prawdopodobieństwa dla danych hydrologicznych . Badania zasobów wodnych 36 (3): 737–744.

Abstrakcyjny:

Trzyparametrowy rozkład wartości ekstremalnej (GEV) znalazł szerokie zastosowanie do opisywania rocznych powodzi, opadów deszczu, prędkości wiatru, wysokości fal, głębokości śniegu i innych maksimów. Poprzednie badania pokazują, że estymatory maksymalnego prawdopodobieństwa (MLE) dla małych próbek parametrów są niestabilne i zalecają estymatory momentu L. Nowsze badania pokazują, że metoda estymatorów kwantyli momentów ma dla 00,25 <κ <0,30 mniejszy błąd pierwiastkowy średni kwadratowy niż L momentów i MLE. Badanie zachowania MLE w małych próbkach pokazuje, że można wygenerować absurdalne wartości parametru κ kształtu GEV. Zastosowanie wcześniejszego rozkładu bayesowskiego w celu ograniczenia wartości κ do statystycznie / fizycznie uzasadnionego zakresu w uogólnionej analizie maksymalnego prawdopodobieństwa (GML) eliminuje ten problem.

W sekcjach Wprowadzenie i przegląd literatury cytują dodatkowe artykuły, w których stwierdzono, że MOM w niektórych przypadkach przewyższa MLE (ponownie modelowanie wartości ekstremalnej), np.

Hosking i in. [1985a] pokazują, że estymatory parametrów MLE dla małych próbek są bardzo niestabilne i zalecają estymatory momentu ważonego prawdopodobieństwem (PWM), które są równoważne estymatorom momentu L [Hosking, 1990]. [...]

Hosking i in. [1985a] wykazał, że estymatory momentów ważonych prawdopodobieństwem (PM) lub równoważnych momentów L (LM) dla rozkładu GEV są lepsze niż estymatory największego prawdopodobieństwa (MLE) pod względem odchylenia i wariancji dla wielkości próbek od 15 do 100. Ostatnio Madsen i in. [1997a] wykazał, że estymatory kwantyli metody momentów (MOM) mają mniejsze RMSE (pierwiastek średni-kwadratowy ror) dla -0,25 <K <0,30 niż LM i MLE przy szacowaniu 100-letniego zdarzenia dla próbek o wielkości 10-50 . MLE są preferowane tylko wtedy, gdy K> 0,3 i rozmiary próbek są niewielkie (n> = 50).

K (kappa) jest parametrem kształtu GEV.

artykuły pojawiające się w cytatach:

Hosking J, Wallis J, Wood E (1985) Oszacowanie uogólnionego rozkładu wartości ekstremalnych za pomocą momentów ważonych prawdopodobieństwem . Technometrics 27: 251–261.

Madsen, H., PF Rasmussen i D. Rosbjerg (1997) Porównanie rocznych metod szeregów maksymalnych i częściowych czasów trwania do modelowania ekstremalnych zdarzeń hydrologicznych , 1, Modelowanie w terenie, Zasoby wodne. Res., 33 (4), 747–758.

Hosking, JRM, L-momenty: Analiza i estymacja rozkładów z wykorzystaniem liniowych kombinacji statystyki rzędu , JR Stat. Soc., Ser. B, 52, 105-124, 1990.

Ponadto mam takie same doświadczenia, jak wnioski zawarte w powyższych artykułach, w przypadku modelowania ekstremalnych zdarzeń przy małej i średniej wielkości próby (typowo <50-100) MLE może dawać nierealne wyniki, symulacja pokazuje, że MOM jest bardziej solidny i ma mniejszy RMSE.

— Arpi
źródło

3

Odpowiadając na to: Szacując parametry dwumianu natknąłem się na ten artykuł:

Ingram Olkin, A John Petkau, James V Zidek: Porównanie estymatorów N dla rozkładu dwumianowego. Jasa 1981.

co daje przykład, w którym metoda momentów, przynajmniej w niektórych przypadkach, przekracza maksymalne prawdopodobieństwo. Problemem jest oszacowanie w rozkładzie dwumianowym którym oba parametry są nieznane. Pojawia się na przykład przy próbie oszacowania liczebności zwierząt, gdy nie można zobaczyć wszystkich zwierząt, a prawdopodobieństwo obserwacji również jest nieznane. $N$ $\text{Bin}(N,p)$ $p$

— kjetil b halvorsen
źródło

Jedną z rzeczy, która jest bardzo miła w tym przykładzie, jest to, że bardzo łatwo jest przekazać sytuację - wiele osób zna dwumianowy (przynajmniej w koncepcji, jeśli nie zawsze z nazwą).

— Glen_b