Jaki jest rozkład sumy zmiennych nie iid gaussowskich?

Jeśli jest dystrybuowane , jest dystrybuowane i , wiem, że jest dystrybuowane jeśli X i Y są niezależne. $X$ $N(\mu_X, \sigma^2_X)$ $Y$ $N(\mu_Y, \sigma^2_Y)$ $Z = X + Y$ $Z$ $N(\mu_X + \mu_Y, \sigma^2_X + \sigma^2_Y)$

Ale co by się stało, gdyby X i Y nie były niezależne, tj. $(X, Y) \approx N\big( (\begin{smallmatrix} \mu_X\\\mu_Y \end{smallmatrix}) , (\begin{smallmatrix} \sigma^2_X && \sigma_{X,Y}\\ \sigma_{X,Y} && \sigma^2_Y \end{smallmatrix}) \big)$

Czy wpłynęłoby to na sposób podziału sumy ? $Z$

normal-distribution mathematical-statistics

— JCWong
źródło

Chciałbym tylko zaznaczyć, że istnieją różne rodzaje rozkładów wspólnych dla inne niż dwuwymiarowa normalna, które nadal mają

marginalnie normalne. To rozróżnienie miałoby ogromny wpływ na odpowiedzi.

(X, Y)

$(X,Y)$

X

$X$

Y

$Y$

@ G.JayKerns Zgadzam się, że jeśli

X

$X$ i

Y

$Y$ są normalne, ale niekoniecznie wspólnie normalne, to

X + Y

$X+Y$ może mieć rozkład inny niż normalny. Ale stwierdzenie OP, że „

Z

$Z$ jest rozproszone

N (μ_{x} + μ_{y}, σ_{x}^{2} + σ_{y}^{2})

$N(\mu_x + \mu_y, \sigma^2_x + \sigma^2_y)$ jeśli

X

$X$ i

Y

$Y$ są niezależne”. jest absolutnie poprawne. Jeśli

X

$X$ i

Y

$Y$ są marginalnie normalne (jak mówi pierwsza część zdania) i niezależne (zgodnie z założeniem w drugiej części zdania), to są również wspólnie normalne. W pytaniu PO wspólna normalność jest wyraźnie założona, więc każda liniowa kombinacja

X

$X$ i

Y

$Y$ jest normalna.

— Dilip Sarwate,

@Dipip, pozwól mi wyjaśnić, że nie ma nic złego w pytaniu i nie ma nic złego w twojej odpowiedzi (+1) (lub prawdopodobieństwie, albo (+1)). Po prostu wskazałem, że jeśli

są zależne, to nie jest konieczne, aby były one razem normalne i nie było jasne, że OP rozważał taką możliwość. Ponadto obawiam się (choć nie spędziłem dużo czasu na myśleniu), że bez innych założeń (takich jak wspólna normalność) pytanie może być nawet niemożliwe do odpowiedzi.

X

$X$

Y

$Y$

Jak wspomina @ G.JayKerns, oczywiście możemy uzyskać wiele interesujących zachowań, jeśli weźmiemy pod uwagę marginalnie, ale nie łącznie, rozproszone normalne. Jest prosty przykład niech

być standardowe normalne i

z prawdopodobieństwem 1/2 każdy, niezależnie od

. Niech

. Wtedy

jest również standardową normą, ale

jest dokładnie równe zeru z prawdopodobieństwem 1/2 i jest równe

z prawdopodobieństwem 1/2.

X

$X$

ε = \pm 1

$\varepsilon = \pm 1$

X

$X$

Y = ε X

$Y = \varepsilon X$

Y

$Y$

Z = X + Y

$Z = X+Y$

2 X

$2X$

— kardynał

Możemy uzyskać całą gamę różnych zachowań, biorąc pod uwagę dwuwymiarową kopułę związaną z

za pomocą twierdzenia Sklara . Jeśli użyjemy kopuły Gaussa, wówczas otrzymamy

są wspólnie normalne, a zatem

jest normalnie rozłożone. Jeśli kopuła nie jest kopulą Gaussa, wówczas

są nadal marginalnie rozmieszczone jako normalne, ale nie są wspólnie normalne, a zatem suma nie będzie normalnie rozłożona, ogólnie.

(X, Y)

$(X,Y)$

(X, Y)

$(X,Y)$

Z = X + Y

$Z = X + Y$

X

$X$

Y

$Y$

— kardynał

Odpowiedzi:

Zobacz mój komentarz na temat prawdopodobieństwa odpowiedzi logicznej na to pytanie . Tutaj , gdziejestkowariancjizi. Nikt nie zapisuje nie-diagonalnych wpisów w macierzy kowariancji jako tak jak ty. Pozycje o przekątnej są kowariancjami, które mogą być ujemne.

\begin{aligned} X + Y & \sim N (μ_{X} + μ_{Y}, σ_{X}^{2} + σ_{Y}^{2} + 2 σ_{X, Y}) \\ a X + b Y & \sim N (a μ_{X} + b μ_{Y}, a^{2} σ_{X}^{2} + b^{2} σ_{Y}^{2} + 2 a b σ_{X, Y}) \end{aligned}

$\begin{align*} X + Y &\sim N(\mu_X + \mu_Y,\; \sigma_X^2 + \sigma_Y^2 + 2\sigma_{X,Y})\\ aX + bY &\sim N(a\mu_X + b\mu_Y,\; a^2\sigma_X^2 + b^2\sigma_Y^2 + 2ab\sigma_{X,Y}) \end{align*}$

σ_{X, Y}

$\sigma_{X,Y}$

X

$X$

Y

$Y$

σ_{x y}^{2}

$\sigma_{xy}^2$

— Dilip Sarwate
źródło

@Kodiologist Thanks! Dziwi mnie, że literówki pozostawały niezauważone przez ponad 4 lata.

— Dilip Sarwate 12.04.16

Odpowiedź @ dilip jest wystarczająca, ale pomyślałem, że dodam kilka szczegółów na temat tego, jak dojść do wyniku. Możemy zastosować metodę funkcji charakterystycznych. Dla dowolnego -wymiarowego wielowymiarowego rozkładu normalnego gdzie i $d$ $X\sim N_{d}(\mu,\Sigma)$ $\mu=(\mu_1,\dots,\mu_d)^T$ , funkcję charakterystyczną daje: $\Sigma_{jk}=cov(X_j,X_k)\;\;j,k=1,\dots,d$

φ_{X} (t) = E [\exp (i t^{T} X)] = \exp (i t^{T} μ - \frac{1}{2} t^{T} Σ t)

$\varphi_{X}({\bf{t}})=E\left[\exp(i{\bf{t}}^TX)\right]=\exp\left(i{\bf{t}}^T\mu-\frac{1}{2}{\bf{t}}^T\Sigma{\bf{t}}\right)$

= \exp (i \sum_{j = 1}^{d} t_{j} μ_{j} - \frac{1}{2} \sum_{j = 1}^{d} \sum_{k = 1}^{d} t_{j} t_{k} Σ_{j k})

$=\exp\left(i\sum_{j=1}^{d}t_j\mu_j-\frac{1}{2}\sum_{j=1}^{d}\sum_{k=1}^{d}t_jt_k\Sigma_{jk}\right)$

For a one-dimensional normal variable $Y\sim N_1(\mu_Y,\sigma_Y^2)$ we get:

φ_{Y} (t) = \exp (i t μ_{Y} - \frac{1}{2} t^{2} σ_{Y}^{2})

$\varphi_Y(t)=\exp\left(it\mu_Y-\frac{1}{2}t^2\sigma_Y^2\right)$

$Z={\bf{a}}^TX=\sum_{j=1}^{d}a_jX_j$ $d=2$ $a_1=a_2=1$ . The characteristic function for $Z$ is the basically the same as that for $X$ .

φ_{Z} (t) = E [\exp (i t Z)] = E [\exp (i t a^{T} X)] = φ_{X} (t a)

$\varphi_{Z}(t)=E\left[\exp(itZ)\right]=E\left[\exp(it{\bf{a}}^TX)\right]=\varphi_{X}(t{\bf{a}})$

= \exp (i t \sum_{j = 1}^{d} a_{j} μ_{j} - \frac{1}{2} t^{2} \sum_{j = 1}^{d} \sum_{k = 1}^{d} a_{j} a_{k} Σ_{j k})

$=\exp\left(it\sum_{j=1}^{d}a_j\mu_j-\frac{1}{2}t^2\sum_{j=1}^{d}\sum_{k=1}^{d}a_ja_k\Sigma_{jk}\right)$

If we compare this characteristic function with the characteristic function $\varphi_Y(t)$ we see that they are the same, but with $\mu_Y$ being replaced by $\mu_Z=\sum_{j=1}^{d}a_j\mu_j$ and with $\sigma_Y^2$ being replaced by $\sigma^2_Z=\sum_{j=1}^{d}\sum_{k=1}^{d}a_ja_k\Sigma_{jk}$ . Hence because the characteristic function of $Z$ is equivalent to the characteristic function of $Y$ , the distributions must also be equal. Hence $Z$ is normally distributed. We can simplify the expression for the variance by noting that $\Sigma_{jk}=\Sigma_{kj}$ and we get:

σ_{Z}^{2} = \sum_{j = 1}^{d} a_{j}^{2} Σ_{j j} + 2 \sum_{j = 2}^{d} \sum_{k = 1}^{j - 1} a_{j} a_{k} Σ_{j k}

$\sigma^2_Z=\sum_{j=1}^{d}a_j^2\Sigma_{jj}+2\sum_{j=2}^{d}\sum_{k=1}^{j-1}a_ja_k\Sigma_{jk}$

This is also the general formula for the variance of a linear combination of any set of random variables, independent or not, normal or not, where $\Sigma_{jj}=var(X_j)$ and $\Sigma_{jk}=cov(X_j,X_k)$ . Now if we specialise to $d=2$ and $a_1=a_2=1$ , the above formula becomes:

σ_{Z}^{2} = \sum_{j = 1}^{2} (1)^{2} Σ_{j j} + 2 \sum_{j = 2}^{2} \sum_{k = 1}^{j - 1} (1) (1) Σ_{j k} = Σ_{11} + Σ_{22} + 2 Σ_{21}

$\sigma^2_Z=\sum_{j=1}^{2}(1)^2\Sigma_{jj}+2\sum_{j=2}^{2}\sum_{k=1}^{j-1}(1)(1)\Sigma_{jk}=\Sigma_{11}+\Sigma_{22}+2\Sigma_{21}$

— probabilityislogic
źródło

+1 Thanks for taking the time to write out the details. Can this question be made part of the FAQ?

— Dilip Sarwate