Ile z największych terminów wdodać do połowy całości?

Zastanów się gdzie to iid, a CLT jest wstrzymany. Ile z największych warunków stanowi połowę łącznej kwoty? Na przykład 10 + 9 + 8 (10 + 9 + 8 + 1) / 2: 30% haseł osiąga około połowy sumy. $\sum_{i=1}^N |X_i|$ $X_1, \ldots, X_N$

$\approx$ $\dots$

Zdefiniuj
$\qquad\text{sumbiggest( j}; X_1 \dots X_N ) \equiv \text{sum of the j biggest of } |X_1| \dots |X_N|$
$\qquad\text{halfsum}( N ) \equiv \text{the smallest j such that sumbiggest( j )} \approx \text{sumbiggest}( N ) / 2 .$

Czy istnieje ogólny asymptotyczny wynik dla połowy sumy ( )? Proste, intuicyjne wyprowadzenie byłoby fajne. $N, \mu, \sigma$

(Trochę Monte Carlo sugeruje, że czasami połowa sumy ( ) / 4 lub tak; to znaczy, że największa 1/4 z sumuje się do 1/2 całości. Dostaję 0,24 dla półnormalnego, 0,19 dla wykładniczy, dla = 20, 50, 100.) $N$ $\approx N$
$X_i$
$N$ $N$ $N$

central-limit-theorem asymptotics

— denis
źródło

Nie oczekuj uniwersalnego wyniku podobnego do CLT. Na przykład odpowiedź na zmienne jednolite (0,1) będzie bardzo różna od odpowiedzi na zmienne jednolite (1000, 1001)!

— whuber

Racja, halfsum będzie oczywiście zależeć od średniej i sd. Ale dlaczego ~ N / 5 dla wykładniczej?

— den

Asymptotycznie, Denis, wartość odcięcia dla połowy będzie wartością dla której gdzie jest pdf dla; pytanie dotyczy ( to cdf dla ). W przypadku równomiernego rozkładu otrzymujesz odpowiedź @ Dilip; dla wykładniczej .

x

$x$

\int_{0}^{x} t f (t) d t = 1 / 2

$\int_0^x t f(t)dt = 1/2$

f

$f$

| X_{i} |

$|X_i|$

N (1 - F (x))

$N(1-F(x))$

F

$F$

| X_{i} |

$|X_i|$

[0, 1]

$[0,1]$

x \approx 0.186682 N \approx N / 5

$x\approx 0.186682 N \approx N/5$

— whuber

Odpowiedzi:

Nie, nie ma ogólnego wyniku asymptotycznego. Niech będą uporządkowane , gdzie jest największym. $x_{[1]} \dots x_{[N]}$ $x_i$ $x_{[1]}$

Rozważ następujące dwa przykłady:

1) . Najwyraźniej CLT trzyma się. Potrzebujesz tylko obserwacji dla. $P(x=0) = 1$ $M=1$ $\sum_{j=1}^M|x_{[j]}| \ge \frac{1}{2} \sum_N|x_i|$

2) . Najwyraźniej CLT trzyma się. Potrzebujesz obserwacji dla. $P(x=1) = 1$ $M=\lceil N/2\rceil$ $\sum_{j=1}^M|x_{[j]}| \ge \frac{1}{2} \sum_N|x_i|$

Na przykład nietrywialny rozkład Bernoulliego:

3) . Po raz kolejny CLT trzyma się. Potrzebujesz obserwacji, aby spełnić twoje warunki. Zmieniając pomiędzy 0 i 1, możesz zbliżyć się do przykładu 1 lub przykładu 2, jak chcesz. $P(x=1) = p,\space P(x=0) = 1-p$ $\lceil pN/2\rceil$ $p$

— łucznik
źródło

Rzeczywiście oczywiste jest, że odpowiedź może być w dowolnym miejscu między a , ale nie oznacza to braku ogólnego wyniku. Oznacza to, że powinniśmy rozważyć odpowiedzi, w których ułamek zależy od niektórych właściwości rozkładu podstawowego, takich jak jego średnia i SD. Są one wystarczające, wraz z CLT, do dostarczenia szczegółowych i ilościowych informacji o rozkładzie porównaniu do ich sumy, więc uzasadnione jest oczekiwanie na taki wynik.

0

$0$

N / 2

$N/2$

x [i]

$x[i]$

— whuber

Oto prymitywny argument podający nieco inne oszacowanie dla równomiernie rozmieszczonych zmiennych losowych. Załóżmy, że są ciągłymi zmiennymi losowymi równomiernie rozmieszczonymi na . Wtedy ma średnią wartość . Załóżmy, że przez zaskakujący i całkowicie niewiarygodny zbieg okoliczności suma jest dokładnie równa . Chcemy więc oszacować, ile z największych wartości sumuje się do lub więcej. Teraz histogram próbek ( bardzo dużych) narysowanych z rozkładu jednorodności jest z grubsza płaski od do $X_i$ $[0,1]$ $\sum_i X_i$ $N/2$ $N/2$ $X$ $N/4$ $N$ $N$ $U[0,1]$ $0$ $1$ , i tak dla każdego , , istnieje próbek rozmieszczonych w przybliżeniu równomiernie między do . Próbki te mają średnią wartość i sumę równą . Suma przekracza dla . Tak więc suma największych próbek przekracza . $x$ $0 < x < 1$ $(1-x)N$ $x$ $1$ $(1+x)/2$ $(1-x)N(1+x)/2) = (1-x^2)N/2$ $N/4$ $x \leq 1/\sqrt{2}$ $(1-1/\sqrt{2})N \approx 0.3N$ $N/4$

Możesz spróbować to trochę uogólnić. Jeśli , to dla dowolnego chcemy, aby było takie, że gdzie jest normalne ze średnią i wariancją . Tak więc, zależnie od wartości , . Pomnóż przez gęstość i zintegruj (od do ), aby znaleźć średnią liczbę największych próbek, która przekroczy połowę losowej sumy. $\sum_i X_i = Y$ $Y$ $x$ $(1-x^2)N/2 = Y/2$ $Y$ $N/2$ $N/12$ $Y$ $x = \sqrt{1-(Y/N)}$ $Y$ $Y=0$ $Y=N$

— Dilip Sarwate
źródło

Odległość między dwoma punktami ograniczonymi do przedziału

nie może być rozkładana wykładniczo, ponieważ odległość musi być mniejsza niż

podczas gdy wykładnicza zmienna losowa przyjmuje wartości w

. Prawdą jest, że jeśli

są niezależnymi wykładniczymi zmiennymi losowymi, a następnie zależne od , statystyki rzędu

(0, 1)

$(0,1)$

1

$1$

(0, \infty)

$(0,\infty)$

Y_{1}, Y_{2}, \dots, Y_{n + 1}

$Y_1, Y_2, \ldots, Y_{n+1}$

Y_{max} = α

$Y_{\max} = \alpha$

Y_{(1)}, Y_{(2)}, \dots, Y_{(n)}

$Y_{(1)}, Y_{(2)}, \ldots, Y_{(n)}$ są równomiernie rozmieszczone w . Zobacz na przykład to pytanie i odpowiedź na stronie math.SE. (ciąg dalszy)

(0, α)

$(0, \alpha)$

— Dilip Sarwate,

W każdym razie mój argument nie wykorzystuje odległości między uporządkowanymi próbkami od rozkładu jednolitego.

— Dilip Sarwate,

Masz rację, źle cię zrozumiałem. Na marginesie pytanie: czy kawałki między jednorodnie losowymi punktami rozkładają się wykładniczo po skalowaniu - odwrotność twojego q + a? [Broken Stick Rule z projektu Wolfram Demonstrations] ( demonstrations.wolfram.com/BrokenStickRule ) na pewno wygląda wykładniczo, czy to musi być łatwe? dowód.

— den

Zadaj pytanie poboczne jako osobne pytanie.

— Dilip Sarwate,

Zacząłem, a potem zobaczyłem rozkład prawdopodobieństwa długości fragmentów , możesz tam skomentować.

— den

Załóżmy, że X ma tylko wartości dodatnie, aby pozbyć się wartości bezwzględnej.

Bez dokładnego udowodnienia, myślę, że musisz rozwiązać k

$(1-F_{X}(k))E(X|X>=k)= \frac{1}{2} E(X)$ gdzie F jest funkcją rozkładu skumulowanego dla X

a następnie odpowiedź jest udzielana przez przyjęcie najwyższych wartości . $n(1-F_X(k))$

Moja logika jest taka, że asymetrycznie suma wszystkich wartości wyższych niż k powinna być o

$n(1-F_{X}(k))E(X|X>=k)$

i asymetrycznie połowa całkowitej sumy wynosi około

$\frac{1}{2}nE(X)$ .

Symulacja numeryczna pokazuje, że wynik dotyczy przypadku jednolitego (jednolity w ), gdzie a ja otrzymuję . Nie jestem pewien, czy wynik zawsze się utrzymuje, czy też można go uprościć, ale myślę, że tak naprawdę zależy on od funkcji rozkładu F. $[0,1]$ $F(k)=k$ $k=\sqrt(\frac{1}{2})$

— Erik
źródło