Oczekiwanie pierwiastka kwadratowego z sumy niezależnych kwadratowych zmiennych losowych

Niech będą niezależnymi i identycznie rozmieszczonymi standardowymi jednolitymi zmiennymi losowymi. $X_1,\dots,X_n \sim U(0,1)$

Let Y_{n} = \sum_{i}^{n} X_{i}^{2} I seek: E [\sqrt{Y_{n}}]

$\text{Let }\quad Y_n=\sum_i^nX_i^2 \quad \quad \text{I seek: } \quad \mathbb{E}\big[\sqrt{Y_n } \big]$

Oczekiwanie na jest łatwe: $Y_n$

\begin{aligned} E [X^{2}] & = \int_{0}^{1} \frac{y}{2 \sqrt{y}} = \frac{1}{3} \\ E [Y_{n}] & = E [\sum_{i}^{n} X_{i}^{2}] = \sum_{i}^{n} E [X_{i}^{2}] = \frac{n}{3} \end{aligned}

$\begin{align} \mathbb{E}\left[X^2\right] &=\int_0^1\frac{y}{2\sqrt{y}}=\frac{1}{3}\\ \mathbb{E}\left[Y_n\right] &=\mathbb{E}\left[\sum_i^nX_i^2\right] = \sum_i^n\mathbb{E}\left[X_i^2\right]=\frac{n}{3} \end{align}$

Teraz część nudna. Aby ubiegać się o LOTUS, potrzebowałbym pdf . Oczywiście pdf sumy dwóch niezależnych zmiennych losowych jest splotem ich plików pdf. Jednak tutaj mamy zmiennych losowych i myślę, że splot prowadziłby do ... zawiłego wyrażenia (zamierzony straszny kalambur). Czy istnieje mądrzejszy sposób? $Y_n$ $n$

Wolałbym zobaczyć prawidłowe rozwiązanie , ale jeśli jest to niemożliwe lub zbyt skomplikowane, asymptotyczne przybliżenie dużego $n$ może być dopuszczalne. Dzięki nierówności Jensena wiem o tym

\sqrt{E [Y_{n}]} = \sqrt{\frac{n}{3}} \geq E [\sqrt{Y_{n}}]

$\sqrt{\mathbb{E}[Y_n]}=\sqrt{\frac{n}{3}}\geq\mathbb{E}\left[\sqrt{Y_n}\right]$

Ale to niewiele mi pomaga, chyba że znajdę również nietrywialną dolną granicę. Zauważ, że CLT nie ma tutaj bezpośredniego zastosowania, ponieważ mamy pierwiastek kwadratowy z sumy niezależnych RV, a nie tylko sumy niezależnych RV. Może mogą istnieć inne twierdzenia graniczne (które ignoruję), które mogą tu być pomocne.

— DeltaIV
źródło

Zobacz to pytanie, aby uzyskać asymptotyczny wynik: stats.stackexchange.com/questions/241504/…

— S. Catterall Przywróć Monikę

Otrzymuję na podstawie powyższego połączonego pytania.

E [\sqrt{Y_{n}}] \approx \sqrt{\frac{n}{3} - \frac{1}{15}}

$\mathbb{E}[\sqrt{Y_n}]\approx \sqrt{\frac{n}{3}-\frac{1}{15}}$

— S. Catterall przywraca Monikę

Nie sądzę, żebym użył żadnego z podejść opisanych w tej odpowiedzi (których jest więcej niż dwa!) :-). Powodem jest to, że możesz skorzystać z prostych, prostych symulacji w celu oszacowania oczekiwań, podczas gdy rozwiązanie analityczne wydaje się nieosiągalne. Bardzo podoba mi się podejście @ S. Catterall (+1 za to rozwiązanie, którego wcześniej nie czytałem). Symulacja pokazuje, że działa dobrze nawet dla małych .

n

$n$

— whuber

Symulacja jest warta zrobienia :-). Wykreślić różnicę między symulowaną średnią a przybliżoną formułą względem . To pokaże ci wyraźnie, jak dobrze działa aproksymacja w funkcji .

n

$n$

n

$n$

— whuber

Wyraźnie

E [\sqrt{Y_{1}}] = 0.5

$E\left[\sqrt{Y_1}\right]=0.5$ podczas gdy przybliżenie daje

\sqrt{\frac{1}{3} - \frac{1}{15}} = \sqrt{\frac{4}{15}} \approx 0.516

$\sqrt{\frac{1}{3}-\frac{1}{15}} = \sqrt{\frac4{15}}\approx 0.516$ . W tym wypadku

\sqrt{\frac{1}{3} - \frac{1}{12}}

$\sqrt{\frac{1}{3}-\frac{1}{12}}$ byłoby poprawne. Ale przybliżenie poprawia się później.

— Henry

Odpowiedzi:

Jednym z podejść jest najpierw obliczenie funkcji generującej moment (mgf) dla $Y_n$ określony przez $Y_n = U_1^2 + \dotsm + U_n^2$ gdzie $U_i, i=1,\dotsc, n$ jest niezależnymi i identycznie rozmieszczonymi standardowymi jednolitymi zmiennymi losowymi.

Kiedy to mamy, możemy to zobaczyć

E \sqrt{Y_{n}}

$\DeclareMathOperator{\E}{\mathbb{E}} \E \sqrt{Y_n}$ jest ułamkowym momentem

Y_{n}

$Y_n$ zamówienia

α = 1 / 2

$\alpha=1/2$ . Następnie możemy wykorzystać wyniki z pracy Noel Cressie i Marinus Borkent: „Funkcja generowania momentu ma swoje chwile”, Journal of Statistics Plan and Inference 13 (1986) 337-344, która daje momenty ułamkowe poprzez ułamkowe różnicowanie funkcji generowania momentu .

Najpierw funkcja generowania momentu $U_1^2$ , które piszemy $M_1(t)$ .

M_{1} (t) = E e^{t U_{1}^{2}} = \int_{0}^{1} \frac{e^{t x}}{2 \sqrt{x}} d x

$M_1(t) = \E e^{t U_1^2} = \int_0^1 \frac{e^{tx}}{2\sqrt{x}}\; dx$ i oceniłem to (z pomocą Maple i Wolphram Alpha), aby dać

M_{1} (t) = \frac{\erf (\sqrt{- t}) \sqrt{π}}{2 \sqrt{- t}}

$\DeclareMathOperator{\erf}{erf} M_1(t)= \frac{\erf(\sqrt{-t})\sqrt{\pi}}{2\sqrt{-t}}$ gdzie

i = \sqrt{- 1}

$i=\sqrt{-1}$ jest urojoną jednostką. (Wolphram Alpha daje podobną odpowiedź, ale pod względem całki Dawsona. ) Okazuje się, że w większości potrzebujemy

t < 0

$t<0$ . Teraz łatwo jest znaleźć mgf

Y_{n}

$Y_n$ :

M_{n} (t) = M_{1} (t)^{n}

$M_n(t) = M_1(t)^n$ Następnie wyniki z cytowanego artykułu. Dla

μ > 0

$\mu>0$ definiują

μ

$\mu$ całka rzędu funkcji

f

$f$ tak jak

I^{μ} f (t) \equiv Γ (μ)^{- 1} \int_{- \infty}^{t} (t - z)^{μ - 1} f (z) d z

$I^\mu f(t) \equiv \Gamma(\mu)^{-1} \int_{-\infty}^t (t-z)^{\mu-1} f(z)\; dz$ Więc dla

α > 0

$\alpha>0$ i nieintegralne,

n

$n$ dodatnia liczba całkowita oraz

0 < λ < 1

$0<\lambda<1$ takie, że

α = n - λ

$\alpha=n-\lambda$ . Następnie pochodna

f

$f$ zamówienia

α

$\alpha$ jest zdefiniowany jako

D^{α} f (t) \equiv Γ (λ)^{- 1} \int_{- \infty}^{t} (t - z)^{λ - 1} \frac{d^{n} f (z)}{d z^{n}} d z .

$D^\alpha f(t) \equiv \Gamma(\lambda)^{-1}\int_{-\infty}^t (t-z)^{\lambda-1} \frac{d^n f(z)}{d z^n}\; dz.$ Następnie podają (i potwierdzają) następujący wynik dla dodatniej zmiennej losowej

X

$X$ : Załóżmy

M_{X}

$M_X$ (mgf) jest zdefiniowane. Więc dla

α > 0

$\alpha>0$ ,

D^{α} M_{X} (0) = E X^{α} < \infty

$D^\alpha M_X(0) = \E X^\alpha < \infty$ Teraz możemy spróbować zastosować te wyniki do

Y_{n}

$Y_n$ . Z

α = 1 / 2

$\alpha=1/2$ znaleźliśmy

E Y_{n}^{1 / 2} = D^{1 / 2} M_{n} (0) = Γ (1 / 2)^{- 1} \int_{- \infty}^{0} | z |^{- 1 / 2} M_{n}^{'} (z) d z

$\E Y_n^{1/2} = D^{1/2} M_n (0) = \Gamma(1/2)^{-1}\int_{-\infty}^0 |z|^{-1/2} M_n'(z) \; dz$ gdzie liczba pierwsza oznacza pochodną. Klon daje następujące rozwiązanie:

\int_{- \infty}^{0} \frac{n \cdot (\erf (\sqrt{- z}) \sqrt{π} - 2 e^{z} \sqrt{- z}) e^{\frac{n (- 2 \ln 2 + 2 \ln (\erf (\sqrt{- z})) - \ln (- z) + \ln (π))}{2}}}{2 π (- z)^{3 / 2} \erf (\sqrt{- z})} d z

$\int_{-\infty}^0 \frac{n\cdot\left(\erf(\sqrt{-z})\sqrt{\pi}-2e^z\sqrt{-z} \right)e^{\frac{n(-2\ln 2 +2 \ln(\erf(\sqrt{-z}))-\ln(-z) +\ln(\pi))}{2}}}{2\pi(-z)^{3/2}\erf(\sqrt{-z})} \; dz$ Pokażę wykres tego oczekiwania, wykonany w klonie przy użyciu integracji numerycznej, wraz z przybliżonym rozwiązaniem

A (n) = \sqrt{n / 3 - 1 / 15}

$A(n)=\sqrt{n/3-1/15}$ z jakiegoś komentarza (i omówionego w odpowiedzi przez @Henry). Są niezwykle blisko:

Jako uzupełnienie wykres błędu procentowego:

Powyżej $n=20$ przybliżenie jest bliskie dokładności. Poniżej użytego kodu klonu:

int( exp(t*x)/(2*sqrt(x)), x=0..1 ) assuming t>0;
int( exp(t*x)/(2*sqrt(x)), x=0..1 ) assuming t<0;
M := t -> erf(sqrt(-t))*sqrt(Pi)/(2*sqrt(-t))
Mn := (t,n) -> exp(n*log(M(t)))
A  :=  n -> sqrt(n/3 - 1/15)
Ex :=  n ->   int( diff(Mn(z,n),z)/(sqrt(abs(z))*GAMMA(1/2) ), z=-infinity..0 ,numeric=true)

plot([Ex(n),A(n)],n=1..100,color=[blue,red],legend=[exact,approx],labels=[n,expectation],title="expectation of sum of squared uniforms")
plot([((A(n)-Ex(n))/Ex(n))*100],n=1..100,color=[blue],labels=[n,"% error"],title="Percentage error of approximation")

— kjetil b halvorsen
źródło

bardzo interesujące. Gdybyś mógł dodać kilka fabuł, byłaby to doskonała odpowiedź. Jednak zauważę tutaj jedną wyraźną zaletę przybliżenia CLT. Przybliżenie wyraźnie to pokazuje

E [\sqrt{Y_{n}}]

$\mathbb{E}[\sqrt{Y_n}]$ rośnie jak

\sqrt{n}

$\sqrt{n}$ kiedy

n \to \infty

$n\to\infty$ . Rozwiązanie Maple nie (lub przynajmniej nie mogę tego rozgryźć).

— DeltaIV,

Jako komentarz rozszerzony: wydaje się, że jest to jasne $E\left[\sqrt{Y_n}\right]= E\left[\sqrt{\sum_i X_i^2}\right]$ zaczynać z $E\left[\sqrt{Y_n}\right] =\frac12=\sqrt{\frac{n}{3}-\frac{1}{12}}$ kiedy $n=1$ a potem się zbliża $\sqrt{\frac{n}{3}-\frac{1}{15}}$ tak jak $n$ wzrasta, związane z wariancją $\sqrt{Y_n}$ spadając z $\frac{1}{12}$ w kierunku $\frac{1}{15}$ . Moje powiązane pytanie, na które odpowiedział S.Catterall, stanowi uzasadnienie dla $\sqrt{\frac{n}{3}-\frac{1}{15}}$ wynik asymptotyczny oparty na każdym $X_i^2$ mając na myśli $\frac13$ i wariancja $\frac{4}{45}$ , a rozkład jest w przybliżeniu i asymptotycznie normalny.

To pytanie dotyczy efektywnie rozkładów odległości od początku losowych punktów w $n$ -wymiarowy hipersześcian jednostkowy $[0,1]^n$ . Jest to podobne do pytania o rozkład odległości między punktami w takim hipersześcianie , więc mogę łatwo dostosować to, co tam zrobiłem, aby pokazać gęstości dla różnych $n$ od $1$ do $16$ za pomocą splotu numerycznego. Dla $n=16$ , sugerowane normalne przybliżenie pokazane na czerwono jest dobrym dopasowaniem i od $n=4$ widać pojawiającą się krzywą dzwonową.

Dla $n=2$ i $n=3$ dostajesz ostry szczyt w trybie $1$ z czymś, co w obu przypadkach wygląda na tę samą gęstość. Porównaj to z rozkładem $\sum_i X_i$ , gdzie pojawia się krzywa dzwonowa z $n=3$ i gdzie wariancja jest proporcjonalna do $n$

— Henz
źródło

Niemal stała wariancja prowadzi do prawdopodobnie sprzecznych z intuicją wyników. Na przykład z

n = 400

$n=400$ ,

\sqrt{Y_{400}}

$\sqrt{Y_{400}}$ (odległość od początku losowego punktu w

400

$400$ -wymiarowy hipersześcian) może przyjąć dowolną wartość

0

$0$ do

20

$20$ ale

94 %

$94\%$ przypadków będzie pomiędzy

11

$11$ i

12

$12$ i praktycznie wszystko pomiędzy

10

$10$ i

13

$13$

— Henry

w rzeczywistości jest to nieco sprzeczne z intuicją. Z powodu klątwy wymiarowej spodziewałem się, że zdecydowana większość punktów będzie zbliżona do rogów (realizacje

y_{400}

$y_{400}$ św

\sqrt{y_{400}} = 20

$\sqrt{y_{400}}=20$ ). Zamiast tego wygląda na to, że zdecydowana większość punktów znajduje się daleko od początku, ale nie aż do narożników. Prawdopodobnie błąd polega na tym, że powinniśmy wziąć pod uwagę odległość od środka hipersześcianu , a nie odległość od początku , która jest po prostu jeden z rogów hipersześcianu.

— DeltaIV,

@DeltaIV: Jeśli utworzysz stronę hipersześcianu

2

$2$ więc

[- 1, 1]^{n}

$[-1,1]^n$ a mierząc od początku otrzymujesz dokładnie taki sam rozkład, oczekiwanie i wariancję. Z

n = 400

$n=400$ większość punktów w tym większym hip-sześcianie będzie blisko granicy tego hipersześcianu (typowa odległość rzędu

0.02

$0.02$ ), ale nie blisko jego rogów (typowa odległość do najbliższego

11

$11$ lub

12

$12$ ponownie)

— Henry

to ma sens - nie miałem czasu na matematykę, ale intuicyjnie spodziewałem się podobnych wyników

U ([- 1, 1])

$U([-1, 1])$ . Spodziewałem się, że oczekiwanie (przepraszam za grę słów) zmieni się o stały czynnik, ale jak powiedziałem, nie miałem czasu, aby to sprawdzić.

— DeltaIV,