Jak obliczyć funkcję gęstości prawdopodobieństwa maksimum próbki jednolitych zmiennych losowych IID?

45

Biorąc pod uwagę zmienną losową

Y = max (X_{1}, X_{2}, \dots, X_{n})

$Y = \max(X_1, X_2, \ldots, X_n)$

gdzie $X_i$ to zmienne jednolite IID, jak obliczyć PDF $Y$ ?

pdf maximum

— Mascarpone
źródło

4

Jeśli to zadanie domowe, przeczytaj często zadawane pytania i odpowiednio zaktualizuj swoje pytanie.

— kardynał

Czy można użyć tożsamości Vandermonde'a, aby pokazać wspólną funkcję 2 rzędu Statystyki mówią, że F_y (r) * G_y (r)?

— Larry mintz

Który kurs dotyczy tego rodzaju problemów? To nie jest coś, co spotkałem na moim kursie prawdopodobieństwa inżynierii.

— Alex

@Alex Co z kursem statystycznym, który obejmuje ponowne próbkowanie?

— SOFe

65

Możliwe, że to pytanie jest pracą domową, ale czułem, że to klasyczne elementarne pytanie prawdopodobieństwa wciąż nie otrzymało pełnej odpowiedzi po kilku miesiącach, więc dam jedno tutaj.

Z opisu problemu chcemy rozmieścić

Y = max {X_{1}, . . ., X_{n}}

$Y = \max \{ X_1, ..., X_n \}$

gdzie to iid . Wiemy, że wtedy i tylko wtedy, gdy każdy element próbki jest mniejszy niż . To, jak wskazano w wskazówce @ varty'ego, w połączeniu z faktem, że są niezależne, pozwala nam wydedukować $X_1, ..., X_n$ ${\rm Uniform}(a,b)$ $Y < x$ $x$ $X_i$

P (Y \leq x) = P (X_{1} \leq x, . . ., X_{n} \leq x) = \prod_{i = 1}^{n} P (X_{i} \leq x) = F_{X} (x)^{n}

$P(Y \leq x) = P(X_1 \leq x, ..., X_n \leq x) = \prod_{i=1}^{n} P(X_i \leq x) = F_{X}(x)^n$

gdzie jest CDF rozkładu równomiernego . Dlatego CDF z to $F_{X}(x)$ $Y$

F_{Y} (y) = P (Y \leq y) = {\begin{cases} 0 & y \leq a \\ {[(y - a) / (b - a)]}^{n} & y \in (a, b) \\ 1 & y \geq b \end{cases}

$F_{Y}(y) = P(Y \leq y) = \begin{cases} 0 & y \leq a \\ \phantom{} \left[ (y-a)/(b-a) \right]^n & y\in(a,b) \\ 1 & y \geq b \\ \end{cases}$

Ponieważ ma absolutnie ciągły rozkład , możemy uzyskać jego gęstość poprzez różnicowanie CDF . Dlatego gęstość wynosi $Y$ $Y$

p_{Y} (y) = \frac{n (y - a)^{n - 1}}{(b - a)^{n}}

$p_{Y}(y) = \frac{n(y-a)^{n-1}}{(b-a)^{n}}$

W szczególnym przypadku, gdy , mamy , czyli gęstość rozkładu Beta z i , ponieważ . $a=0,b=1$ $p_{Y}(y)=ny^{n-1}$ $\alpha=n$ $\beta=1$ ${\rm Beta}(n,1) = \frac{\Gamma(n+1)}{\Gamma(n)\Gamma(1)}=\frac{n!}{(n-1)!} = n$

Dla przypomnienia, sekwencję, którą otrzymujesz, jeśli sortujesz próbkę w porządku rosnącym - - nazywa się statystykami kolejności . Uogólnieniem tej odpowiedzi jest to, że wszystkie statystyki rzędu próbki rozproszonej mają rozkład Beta , jak zauważono w odpowiedzi @ bnaul. $X_{(1)}, ..., X_{(n)}$ ${\rm Uniform}(0,1)$

— Makro
źródło

To było dla mnie pytanie o pracę domową. Dziękuję za wyjaśnienie.

— Paul PM

Wydaje mi się, że powinienem być w stanie zebrać twoje spostrzeżenia i odpowiedzieć na to pytanie , ale nie wiem, jak to zrobić. Czy możesz mi pomóc? czy możesz polecić podręcznik lub rozdział dotyczący tego ogólnego problemu?

@PaulPM Jaki kurs obejmuje tego rodzaju problem? To nie jest coś, co spotkałem na moim kursie prawdopodobieństwa inżynierii.

— Alex

6

Maksymalna próbka to jedna ze statystyk rzędu , w szczególności statystyka tego rzędu próbki . Zasadniczo obliczenie rozkładu statystyk zamówień jest trudne, jak opisano w artykule w Wikipedii; w przypadku niektórych specjalnych dystrybucji statystyki zamówień są dobrze znane (np. dla dystrybucji jednolitej, która ma statystyki zamówień dystrybuowane w wersji Beta). $n$ $X_1,\dots,X_n$

EDYCJA: Artykuł w Wikipedii na temat maksymalnej i minimalnej próbki jest również pomocny i bardziej specyficzny dla twojego problemu.

— bnaul
źródło

5

W przypadku rozkładów o gęstościach obliczenie rozkładu krańcowego określonej statystyki rzędu jest dość proste. Jest to jeszcze łatwiejsze dla „specjalnych” statystyk zamówień, takich jak minimum i maksimum.

— kardynał

Myślę, że to zależy od tego, co rozumie się przez „oblicz” w pierwotnym pytaniu. Z pewnością robienie tego numerycznie jest proste; Zinterpretowałem to pytanie jako pytanie, jak znaleźć rozwiązanie w formie zamkniętej, co na ogół nie jest łatwe.

— bnaul

8

@bnaul niech być dowolna funkcja rozkładu i pozwolić być IID próbka z . Niech będzie statystyką tego rzędu. NastępnieQED .

F (x) = P (X \leq x)

$F(x) = \mathbb P(X \leq x)$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

F

$F$

X_{(k)}

$\newcommand{Xk}{X_{(k)}}\Xk$

k

$k$

P (X_{(k)} \leq x) = \sum_{m = k}^{n} P (| {i : X_{i} \leq x} | = m) = \sum_{m = k}^{n} (\binom{n}{m}) F (x)^{m} (1 - F (x))^{n - m} .

$\mathbb P(\Xk \leq x) = \sum_{m=k}^n \mathbb P( |\{i: X_i \leq x\}| = m) = \sum_{m=k}^n {n \choose m} F(x)^m (1-F(x))^{n-m} \>.$

— kardynał

1

Być może sposobem na zrozumienie odpowiedzi kardynałów (biorąc pod uwagę, że rozumiesz statystykę porządku dla munduru) jest to, że ponieważ pliki cdf są monotonicznymi przekształceniami 1-to-1 jednolitego pliku cdf, zawsze możemy wyrazić zdarzenie {X <a} w postaci munduru zmienna losowa (dlatego działa Monte Carlo). Tak więc każdy wynik oparty na jednolitym rozkładzie z łatwością uogólni na inne zmienne losowe - wystarczy zastosować transformację .

U = F_{X} (X)

$U=F_{X}(X)$

— prawdopodobieństwo prawdopodobieństwo

2

@probabilityislogic: Intuicja jest dobra, choć wydaje się, że w komentarzu masz ciągłe zmienne losowe. (Wynik w moim drugim komentarzu powyżej, np., Działa dla dowolnej funkcji dystrybucji.)

— kardynał

1

Jeśli jest CDF , to Następnie możesz użyć właściwości iid i cdf munduru celu obliczenia . $F_{Y}(y)$ $Y$

F_{Y} (y) = Prob (y > X_{1}, y > X_{2}, . . ., y > X_{n})

$F_Y(y)=\text{Prob}(y>X_1,y>X_2,...,y>X_n)$

F_{Y} (y)

$F_Y(y)$

— Varty
źródło

-3

Maksymalnie zbiór losowych zmiennych IID, gdy odpowiednio znormalizowany, zasadniczo zbiega się z jednym z trzech ekstremalnych typów wartości. To jest twierdzenie Gnedenko, równoważność centralnego twierdzenia granicznego dla ekstremów. Konkretny typ zależy od zachowania ogona rozkładu populacji. Wiedząc o tym, można użyć rozkładu ograniczającego, aby przybliżyć rozkład maksymalnie.

Ponieważ rozkład równomierny na [a, b] jest przedmiotem tego pytania, Makro podało dokładny rozkład dla dowolnego n i bardzo ładną odpowiedź. Wynik jest raczej trywialny. Dla rozkładu normalnego ładna postać zamknięta nie jest możliwa, ale odpowiednio znormalizowana maksimum dla rozkładu normalnego jest zbieżne z rozkładem Gumbela F (x) = exp (- e ). $^-$ $^x$

Dla munduru normalizacja wynosi (ba) -x / n, a F (bax / n) = (1-x / [n (ba)]) $^n$ $^n$

która zbiega się do e . Zauważ, że y = bax / n. a F (y) zbiega się do 1, gdy y idzie do ba. Dotyczy to wszystkich 0 $^-$ $^x$ $^/$ $^($ $^b$ $^-$ $^a$ $^)$ $^n$

W takim przypadku łatwo jest porównać dokładną wartość z jej asymptotycznym limitem.

— Michael Chernick
źródło

4

Aby ta odpowiedź była wykonalna, należy szczegółowo określić, w jaki sposób „odpowiednio się znormalizować” wartości, a także zapewnić sposób oszacowania, jak duże musi być zanim formuła asymptotyczna stanie się wiarygodnym przybliżeniem.

n

$n$

— whuber

@whuber Każdy może spojrzeć na twierdzenie Gnedenko, aby zobaczyć normalizację. Równie ważne są cechy ogona, które określają, który z trzech typów ma zastosowanie. Twierdzenie to uogólnia na stacjonarne procesy stochastyczne. Każdy, kto chce poznać szczegóły drobiazgów, może zajrzeć do książki Leadbettera lub mojej rozprawy doktorskiej. Gdy n jest wystarczająco duże, trudno jest odpowiedzieć na jakąkolwiek formę asymptotyki. Wydaje mi się, że twierdzenie Berry'ego-Esseena pomaga w sformułowaniu centralnego twierdzenia granicznego. Nie wiem, co jest porównywalne z ekstremami.

— Michael Chernick,