Przybliżone statystyki zamówień dla normalnych zmiennych losowych

38

Czy są dobrze znane formuły dla statystyk porządkowych niektórych rozkładów losowych? W szczególności doceniono by statystyki pierwszego i ostatniego rzędu normalnej zmiennej losowej, ale bardziej ogólna odpowiedź.

Edycja: Aby to wyjaśnić, szukam formuł aproksymujących, które można mniej lub bardziej wyraźnie ocenić, a nie dokładnego wyrażenia całkowego.

Na przykład widziałem następujące dwa przybliżenia statystyki pierwszego rzędu (tj. Minimum) normalnego rv:

$e_{1:n} \geq \mu - \frac{n-1}{\sqrt{2n-1}}\sigma$

i

$e_{1:n} \approx \mu + \Phi^{-1} \left( \frac{1}{n+1} \right)\sigma$

Pierwszy z nich, dla $n=200$ , daje w przybliżeniu $e_{1:200} \geq \mu - 10\sigma$ co wydaje się być bardzo luźno związane.

Drugi daje $e_{1:200} \approx \mu - 2.58\sigma$ podczas gdy szybki Monte Carlo daje $e_{1:200} \approx \mu - 2.75\sigma$ , więc nie jest to złe przybliżenie, ale też nie jest świetne, a co ważniejsze, nie mam intuicji na temat Skąd to pochodzi.

Jakaś pomoc?

— Chris Taylor
źródło

4

Jeśli używasz R, zobacz funkcję ppoints .

— kardynał

1

@probabilityislogic dał dobrą intuicję dla podanych przybliżeń. Czy w ogóle byłoby pomocne, gdybym dał trochę więcej z alternatywnego punktu widzenia, czy też zaspokoiłeś swoją ciekawość w tej sprawie?

— kardynał

31

Klasycznym odniesieniem jest Royston (1982) [1], w którym algorytmy wykraczają poza jawne formuły. Cytuje również dobrze znaną formułę Blom (1958): przy. Ta formuła daje mnożnik -2,73 dla. $E(r:n) \approx \mu + \Phi^{-1}(\frac{r-\alpha}{n-2\alpha+1})\sigma$ $\alpha=0.375$ $n=200, r=1$

[1]: Algorytm AS 177: oczekiwane normalne statystyki rzędu (dokładne i przybliżone) JP Royston. Journal of the Royal Statistics Society. Seria C (Statystyka stosowana) Vol. 31, nr 2 (1982), s. 161–165

— Aniko
źródło

21

$\newcommand{\Pr}{\mathrm{Pr}}\newcommand{\Beta}{\mathrm{Beta}}\newcommand{\Var}{\mathrm{Var}}$ Rozkład statystyki i-tego rzędu dowolnego ciągłego losowego zmienna z plikiem PDF jest podawana przez rozkład związku „beta-F”. Intuicyjny sposób myślenia o tej dystrybucji, jest wzięcie pod uwagę statystykę zamówienia ith w próbie . Teraz, aby wartość statystyki i-tego rzędu zmiennej losowej była równa , potrzebujemy 3 warunków:

N

$N$

X

$X$

x

$x$

$i-1$ wartości poniżej , ma to prawdopodobieństwo dla każdej obserwacji, gdzie jest CDF zmiennej losowej X. $x$ $F_{X}(x)$ $F_X(x)=\Pr(X<x)$
$N-i$ Wartości powyżej , ma to prawdopodobieństwo $x$ $1-F_{X}(x)$
1 wartość w nieskończenie małym przedziale zawierającym , ma to prawdopodobieństwo gdzie wynosi plik PDF zmiennej losowej $x$ $f_{X}(x)dx$ $f_{X}(x)dx=dF_{X}(x)=\Pr(x<X<x+dx)$ $X$

Istnieją sposoby, aby dokonać tego wyboru, więc mamy: ${N \choose 1}{N-1 \choose i-1}$

f_{i} (x_{i}) = \frac{N!}{(i - 1)! (N - i)!} f_{X} (x_{i}) {[1 - F_{X} (x_{i})]}^{N - i} {[F_{X} (x_{i})]}^{i - 1} d x

$f_{i}(x_{i})=\frac{N!}{(i-1)!(N-i)!}f_{X}(x_{i})\left[1-F_{X}(x_{i})\right]^{N-i}\left[F_{X}(x_{i})\right]^{i-1}dx$

EDIT w moim oryginalnym poście podjąłem bardzo słabą próbę pójścia dalej od tego punktu, a poniższe komentarze odzwierciedlają to. Próbowałem to naprawić poniżej

Jeśli weźmiemy średnią wartość tego pliku pdf, otrzymujemy:

E (X_{i}) = \int_{- \infty}^{\infty} x_{i} f_{i} (x_{i}) d x_{i}

$E(X_{i})=\int_{-\infty}^{\infty} x_{i}f_{i}(x_{i})dx_{i}$

W tej całce dokonujemy następującej zmiany zmiennej (biorąc pod uwagę wskazówkę @ Henry'ego), a całka staje się: $p_{i}=F_{X}(x_{i})$

E (X_{i}) = \int_{0}^{1} F_{X}^{- 1} (p_{i}) B e t a (p_{i} | i, N - i + 1) d p_{i} = E_{B e t a (p_{i} | i, N - i + 1)} [F_{X}^{- 1} (p_{i})]

$E(X_{i})=\int_{0}^{1} F_{X}^{-1}(p_{i})\Beta(p_{i}|i,N-i+1)dp_{i}=E_{\Beta(p_{i}|i,N-i+1)}\left[F_{X}^{-1}(p_{i})\right]$

Jest to więc oczekiwana wartość odwrotnego CDF, którą można dobrze oszacować za pomocą metody delta, aby uzyskać:

E_{B e t a (p_{i} | i, N - i + 1)} [F_{X}^{- 1} (p_{i})] \approx F_{X}^{- 1} [E_{B e t a (p_{i} | i, N - i + 1)}] = F_{X}^{- 1} [\frac{i}{N + 1}]

$E_{\Beta(p_{i}|i,N-i+1)}\left[F_{X}^{-1}(p_{i})\right]\approx F_{X}^{-1}\left[E_{\Beta(p_{i}|i,N-i+1)}\right]=F_{X}^{-1}\left[\frac{i}{N+1}\right]$

Aby dokonać lepszego przybliżenia, możemy rozwinąć do drugiego rzędu (pierwsze zróżnicowanie oznaczające), zwracając uwagę, że druga pochodna odwrotności to:

\frac{\partial^{2}}{\partial a^{2}} F_{X}^{- 1} (a) = - \frac{F_{X}^{^{″}} (F_{X}^{- 1} (a))}{{[F_{X}^{^{'}} (F_{X}^{- 1} (a))]}^{3}} = - \frac{f_{X}^{^{'}} (F_{X}^{- 1} (a))}{{[f_{X} (F_{X}^{- 1} (a))]}^{3}}

$\frac{\partial^{2}}{\partial a^{2}}F_{X}^{-1}(a)=-\frac{F_{X}^{''}(F_{X}^{-1}(a))}{\left[F_{X}^{'}(F_{X}^{-1}(a))\right]^{3}}=-\frac{f_{X}^{'}(F_{X}^{-1}(a))}{\left[f_{X}(F_{X}^{-1}(a))\right]^{3}}$

Niech . Następnie mamy: $\nu_{i}=F_{X}^{-1}\left[\frac{i}{N+1}\right]$

E_{B e t a (p_{i} | i, N - i + 1)} [F_{X}^{- 1} (p_{i})] \approx F_{X}^{- 1} [ν_{i}] - \frac{{V a r}_{B e t a (p_{i} | i, N - i + 1)} [p_{i}]}{2} \frac{f_{X}^{^{'}} (ν_{i})}{{[f_{X} (ν_{i})]}^{3}}

$E_{\Beta(p_{i}|i,N-i+1)}\left[F_{X}^{-1}(p_{i})\right]\approx F_{X}^{-1}\left[\nu_{i}\right]-\frac{\Var_{\Beta(p_{i}|i,N-i+1)}\left[p_{i}\right]}{2}\frac{f_{X}^{'}(\nu_{i})}{\left[f_{X}(\nu_{i})\right]^{3}}$

= ν_{i} - \frac{(\frac{i}{N + 1}) (1 - \frac{i}{N + 1})}{2 (N + 2)} \frac{f_{X}^{^{'}} (ν_{i})}{{[f_{X} (ν_{i})]}^{3}}

$=\nu_{i}-\frac{\left(\frac{i}{N+1}\right)\left(1-\frac{i}{N+1}\right)}{2(N+2)}\frac{f_{X}^{'}(\nu_{i})}{\left[f_{X}(\nu_{i})\right]^{3}}$

Teraz, specjalizując się w normalnym przypadku, mamy

f_{X} (x) = \frac{1}{σ} ϕ (\frac{x - μ}{σ}) \to f_{X}^{^{'}} (x) = - \frac{x - μ}{σ^{3}} ϕ (\frac{x - μ}{σ}) = - \frac{x - μ}{σ^{2}} f_{X} (x)

$f_{X}(x)=\frac{1}{\sigma}\phi(\frac{x-\mu}{\sigma})\rightarrow f_{X}^{'}(x)=-\frac{x-\mu}{\sigma^{3}}\phi(\frac{x-\mu}{\sigma})=-\frac{x-\mu}{\sigma^{2}}f_{X}(x)$

F_{X} (x) = Φ (\frac{x - μ}{σ}) ⟹ F_{X}^{- 1} (x) = μ + σ Φ^{- 1} (x)

$F_{X}(x)=\Phi(\frac{x-\mu}{\sigma})\implies F_{X}^{-1}(x)=\mu+\sigma\Phi^{-1}(x)$

Zauważ, że Oczekiwanie to w przybliżeniu: $f_{X}(\nu_{i})=\frac{1}{\sigma}\phi\left[\Phi^{-1}\left(\frac{i}{N+1}\right)\right]$

E [x_{i}] \approx μ + σ Φ^{- 1} (\frac{i}{N + 1}) + \frac{(\frac{i}{N + 1}) (1 - \frac{i}{N + 1})}{2 (N + 2)} \frac{σ Φ^{- 1} (\frac{i}{N + 1})}{{[ϕ [Φ^{- 1} (\frac{i}{N + 1})]]}^{2}}

$E[x_{i}]\approx \mu+\sigma\Phi^{-1}\left(\frac{i}{N+1}\right)+\frac{\left(\frac{i}{N+1}\right)\left(1-\frac{i}{N+1}\right)}{2(N+2)}\frac{\sigma\Phi^{-1}\left(\frac{i}{N+1}\right)}{\left[\phi\left[\Phi^{-1}\left(\frac{i}{N+1}\right)\right]\right]^{2}}$

I w końcu:

E [x_{i}] \approx μ + σ Φ^{- 1} (\frac{i}{N + 1}) [1 + \frac{(\frac{i}{N + 1}) (1 - \frac{i}{N + 1})}{2 (N + 2) {[ϕ [Φ^{- 1} (\frac{i}{N + 1})]]}^{2}}]

$E[x_{i}]\approx \mu+\sigma\Phi^{-1}\left(\frac{i}{N+1}\right)\left[1+\frac{\left(\frac{i}{N+1}\right)\left(1-\frac{i}{N+1}\right)}{2(N+2)\left[\phi\left[\Phi^{-1}\left(\frac{i}{N+1}\right)\right]\right]^{2}}\right]$

Chociaż, jak zauważył @whuber, nie będzie to dokładne w ogonach. W rzeczywistości myślę, że może być gorzej z powodu skośności wersji beta o różnych parametrach

— prawdopodobieństwo prawdopodobieństwa
źródło

1

„Estymator maksymalnego prawdopodobieństwa zmiennej losowej ”? Nie jestem pewien, co to jest, ale myślę, że (prawie) obliczyłeś tryb .

— kardynał

1

W dwóch trzecich przypadków dzieje się coś tajemniczego, gdy nagle i pojawiają się bez ostrzeżenia lub definicji.

μ

$\mu$

σ

$\sigma$

— whuber

2

Nie mam na myśli „nakładania”, ale trudno mi też zobaczyć, jak liczbę w nawiasach można aproksymować liczbą ujemną.

— kardynał

1

@probabilityislogic, podczas gdy na poziomie rachunku różniczkowego można powiedzieć, że w tym przypadku rozważamy funkcję dwuwymiarową i po prostu maksymalizujemy jedną zmienną zamiast drugiej, myślę, że istnieją powody matematyczne, statystyczne i pedagogiczne, aby nie nazywać tego, co ty „dokonałem„ oszacowania maksymalnego prawdopodobieństwa ”. Jest ich zbyt wiele, by wymienić je w tej przestrzeni, ale prosty, który moim zdaniem jest wystarczająco przekonujący, polega na tym, że używamy określonego, tajemnego słownictwa w statystykach z jakiegoś powodu. Zmiana tego na kaprys jednego problemu może prowadzić do nieporozumień ... / ...

— kard.

2

@probabilityislogic (+1) dla poprawionej odpowiedzi. Jedna sugestia może oznaczać , że jest lepszy niż co oznacza „implikuje”. Wpatrywanie się w kilka linii przez kilka sekund zdało sobie sprawę, że nie roszczycie sobie prawa do konwergencji.

\Rightarrow

$\Rightarrow$

\to

$\to$

— kardynał

13

Odpowiedź Aniko opiera się na znanej formule Bloma, która obejmuje wybór . Okazuje się, że ta formuła sama w sobie jest jedynie przybliżeniem dokładnej odpowiedzi ze względu na G. Elfvinga (1947), Asymptotyczny rozkład zakresu w próbkach z normalnej populacji , Biometrika, tom. 34, s. 111–119. Formuła Elfvinga jest skierowana na minimum i maksimum próbki, dla której prawidłowy wybór alfa wynosi . Formuła Bloma powstaje, gdy przybliżymy o . $\alpha = 3/8$ $\pi/8$ $\pi$ $3$

Używając formuły Elfvinga zamiast przybliżenia Bloma, otrzymujemy mnożnik -2,744165. Liczba ta jest bliższa dokładnej odpowiedzi Erika P. (-2,746) i przybliżeniu Monte Carlo (-2,75) niż przybliżeniu Bloma (-2,73), a jednocześnie jest łatwiejsza do wdrożenia niż dokładna formuła.

— Hal M. Switkay
źródło

Czy możesz podać trochę więcej szczegółów na temat tego, w jaki sposób jest uzyskiwany przez Elfving (1947)? W artykule nie jest to oczywiste.

α = π / 8

$\alpha=\pi/8$

— Anthony

1

Anthony - Opieram się na podręczniku Statystyka matematyczna autorstwa Samuela Wilksa, pub. Wiley (1962). Ćwiczenie 8.21 na str. 249 stwierdza: „Jeśli x_ (1), x_ (n) to najmniejsze i największe statystyki rzędu próbki o wielkości n z ciągłego cdf F (x) ... zmienna losowa 2n * sqrt {[F (x_ ( 1))] [1-F (x_ (n))]} ma rozkład graniczny jako n -> nieskończoność, ze średnią pi / 2 i wariancją 4- (pi ^ 2) / 4. ” (Przepraszam, nie znam kodu znaczników!) Dla rozkładu symetrycznego F (x_ (1)) = 1-F (x_ (n)). Zatem F (x_ (n)) wynosi około pi / (4n) lub x_ (n) wynosi około F ^ (- 1) (pi / (4n)). Wzór Blom wykorzystuje przybliżenie 3 / (4n).

— Hal M. Switkay

Przypomina mi to niesławny rachunek „ ” przypisany ustawodawcy stanu Indiana. (Chociaż artykuł w Wikipedii sugeruje, że popularna wersja tej historii nie jest dokładna.)

π = 3

$\pi=3$

— steveo'america

7

W zależności od tego, co chcesz zrobić, ta odpowiedź może, ale nie musi pomóc - otrzymałem następującą dokładną formułę z pakietu statystyk Maple .

with(Statistics):
X := OrderStatistic(Normal(0, 1), 1, n):
m := Mean(X):
m;

\int_{- \infty}^{\infty} 1 / 2 \frac{_t 0 n! \sqrt{2} e^{- 1 / 2 {_t 0}^{2}} {(1 / 2 - 1 / 2 e r f (1 / 2_t 0 \sqrt{2}))}^{- 1 + n}}{(- 1 + n)! \sqrt{π}} d_t 0

$\int _{-\infty }^{\infty }\!1/2\,{\frac {{\it \_t0}\,n!\,\sqrt {2}{ {\rm e}^{-1/2\,{{\it \_t0}}^{2}}} \left( 1/2-1/2\, {{\rm erf}\left(1/2\,{\it \_t0}\,\sqrt {2}\right)} \right) ^{-1+n}}{ \left( -1+n \right) !\,\sqrt {\pi }}}{d{\it \_t0}}$

Samo w sobie nie jest to bardzo przydatne (i prawdopodobnie można je dość łatwo wyprowadzić ręcznie, ponieważ jest to minimum zmiennych losowych), ale pozwala na szybkie i bardzo dokładne przybliżenie dla danych wartości - znacznie dokładniejsze niż Monte Carlo: $n$ $n$

evalf(eval(m, n = 200));
evalf[25](eval(m, n = 200));

daje odpowiednio -2,746042447 i -2,746042447451154492412344.

(Pełne ujawnienie - utrzymuję ten pakiet.)

— Erik P.
źródło

1

@ProbabilityIsLogic wyprowadził tę całkę dla wszystkich statystyk zamówień w pierwszej połowie swojej odpowiedzi.

— whuber