Czy wariancja sumy jest równa sumie wariancji?

62

Czy to (zawsze) prawda, że

V a r (\sum_{i = 1}^{m} X_{i}) = \sum_{i = 1}^{m} V a r (X_{i}) ?

$\mathrm{Var}\left(\sum\limits_{i=1}^m{X_i}\right) = \sum\limits_{i=1}^m{\mathrm{Var}(X_i)} \>?$

variance

— Abe
źródło

3

Poniższe odpowiedzi stanowią dowód. Intuicyję można zobaczyć w prostym przypadku var (x + y): jeśli x i y są dodatnio skorelowane, oba będą zwykle duże / małe razem, zwiększając całkowitą zmienność. Jeśli są skorelowane ujemnie, będą się wzajemnie anulować, zmniejszając całkowitą zmienność.

— Assad Ebrahim,

91

Odpowiedź na twoje pytanie brzmi „czasami, ale nie ogólnie”.

Aby to zobaczyć, niech będą zmiennymi losowymi (ze skończonymi wariancjami). Następnie, $X_1, ..., X_n$

v a r (\sum_{i = 1}^{n} X_{i}) = E ({[\sum_{i = 1}^{n} X_{i}]}^{2}) - {[E (\sum_{i = 1}^{n} X_{i})]}^{2}

${\rm var} \left( \sum_{i=1}^{n} X_i \right) = E \left( \left[ \sum_{i=1}^{n} X_i \right]^2 \right) - \left[ E\left( \sum_{i=1}^{n} X_i \right) \right]^2$

Teraz zauważ, że , co jest jasne, jeśli pomyśl o tym, co robisz, obliczając ręcznie . W związku z tym, $(\sum_{i=1}^{n} a_i)^2 = \sum_{i=1}^{n} \sum_{j=1}^{n} a_i a_j$ $(a_1+...+a_n) \cdot (a_1+...+a_n)$

E ({[\sum_{i = 1}^{n} X_{i}]}^{2}) = E (\sum_{i = 1}^{n} \sum_{j = 1}^{n} X_{i} X_{j}) = \sum_{i = 1}^{n} \sum_{j = 1}^{n} E (X_{i} X_{j})

$E \left( \left[ \sum_{i=1}^{n} X_i \right]^2 \right) = E \left( \sum_{i=1}^{n} \sum_{j=1}^{n} X_i X_j \right) = \sum_{i=1}^{n} \sum_{j=1}^{n} E(X_i X_j)$

podobnie,

{[E (\sum_{i = 1}^{n} X_{i})]}^{2} = {[\sum_{i = 1}^{n} E (X_{i})]}^{2} = \sum_{i = 1}^{n} \sum_{j = 1}^{n} E (X_{i}) E (X_{j})

$\left[ E\left( \sum_{i=1}^{n} X_i \right) \right]^2 = \left[ \sum_{i=1}^{n} E(X_i) \right]^2 = \sum_{i=1}^{n} \sum_{j=1}^{n} E(X_i) E(X_j)$

więc

v a r (\sum_{i = 1}^{n} X_{i}) = \sum_{i = 1}^{n} \sum_{j = 1}^{n} (E (X_{i} X_{j}) - E (X_{i}) E (X_{j})) = \sum_{i = 1}^{n} \sum_{j = 1}^{n} c o v (X_{i}, X_{j})

${\rm var} \left( \sum_{i=1}^{n} X_i \right) = \sum_{i=1}^{n} \sum_{j=1}^{n} \big( E(X_i X_j)-E(X_i) E(X_j) \big) = \sum_{i=1}^{n} \sum_{j=1}^{n} {\rm cov}(X_i, X_j)$

z definicji kowariancji.

Teraz dotyczy Czy wariancja sumy jest równa sumie wariancji? :

Jeśli zmienne są nieskorelowane, tak : to znaczy dla , a następnie ${\rm cov}(X_i,X_j)=0$ $i\neq j$
$v a r (\sum_{i = 1}^{n} X_{i}) = \sum_{i = 1}^{n} \sum_{j = 1}^{n} c o v (X_{i}, X_{j}) = \sum_{i = 1}^{n} c o v (X_{i}, X_{i}) = \sum_{i = 1}^{n} v a r (X_{i})$ ${\rm var} \left( \sum_{i=1}^{n} X_i \right) = \sum_{i=1}^{n} \sum_{j=1}^{n} {\rm cov}(X_i, X_j) = \sum_{i=1}^{n} {\rm cov}(X_i, X_i) = \sum_{i=1}^{n} {\rm var}(X_i)$
Jeśli zmienne są skorelowane, nie, nie ogólnie : Załóżmy na przykład, że są dwiema losowymi zmiennymi, z których każda ma wariancję i gdzie . Następnie , więc tożsamość nie powiedzie się. $X_1, X_2$ $\sigma^2$ ${\rm cov}(X_1,X_2)=\rho$ $0 < \rho <\sigma^2$ ${\rm var}(X_1 + X_2) = 2(\sigma^2 + \rho) \neq 2\sigma^2$
ale jest to możliwe w przypadku niektórych przykładów : Załóżmy że mają macierz kowariancji następnie $X_1, X_2, X_3$
$(\begin{array}{ccc} 1 & 0.4 & - 0.6 \\ 0.4 & 1 & 0.2 \\ - 0.6 & 0.2 & 1 \end{array})$ $\left( \begin{array}{ccc} 1 & 0.4 &-0.6 \\ 0.4 & 1 & 0.2 \\ -0.6 & 0.2 & 1 \\ \end{array} \right)$ ${\rm var}(X_1+X_2+X_3) = 3 = {\rm var}(X_1) + {\rm var}(X_2) + {\rm var}(X_3)$

Dlatego jeśli zmienne są nieskorelowane, wówczas wariancja sumy jest sumą wariancji, ale odwrotnie nie jest ogólnie prawdą.

— Makro
źródło

W odniesieniu do przykładowej macierzy kowariancji jest następująca poprawność: symetria między górnymi prawymi i dolnymi lewymi trójkątami odzwierciedla fakt, że , ale symetria między lewym górnym a prawym dolnym rogu (w tym przypadku to tylko część przykładu, ale można go zastąpić dwoma różnymi liczby, które sumują się do np. ai ? Jeszcze raz dziękuję

cov (X_{i}, X_{j}) = cov (X_{j}, X_{i})

$\text{cov}(X_i,X_j)=\text{cov}(X_j,X_i)$

cov (X_{1}, X_{2}) = cov (X_{2}, X_{3}) = 0.3

$\text{cov}(X_1, X_2) = \text{cov}(X_2,X_3) = 0.3$

0.6

$0.6$

cov (X_{1}, X_{2}) = a

$\text{cov}(X_1, X_2) = a$

cov (X_{2}, X, 3) = 0.6 - a

$\text{cov}(X_2,X,3) = 0.6 -a$

— Abe

41

Var (\sum_{i = 1}^{m} X_{i}) = \sum_{i = 1}^{m} Var (X_{i}) + 2 \sum_{i < j} Cov (X_{i}, X_{j}) .

$\text{Var}\bigg(\sum_{i=1}^m X_i\bigg) = \sum_{i=1}^m \text{Var}(X_i) + 2\sum_{i\lt j} \text{Cov}(X_i,X_j).$

Tak więc, jeśli kowariancje średnio wynoszą , co byłoby konsekwencją, gdyby zmienne były nieskorelowane parami lub były niezależne, wówczas wariancja sumy jest sumą wariancji. $0$

Przykład, w którym nie jest to prawdą: Niech . Niech . Następnie . $\text{Var}(X_1)=1$ $X_2 = X_1$ $\text{Var}(X_1 + X_2) = \text{Var}(2X_1)=4$

— Douglas Zare
źródło

Rzadko będzie to prawdą w przypadku odchyleń próbek.

— DW

1

@DWin, „rzadki” to niedopowiedzenie - jeśli mają ciągły rozkład, prawdopodobieństwo, że wariancja próbki sumy jest równa sumie wariancji próbki dokładnie 0 :)

X

$X$

— Macro

15

Chciałem tylko dodać bardziej zwięzłą wersję dowodu podanego przez Macro, więc łatwiej jest zobaczyć, co się dzieje. $\newcommand{\Cov}{\text{Cov}}\newcommand{\Var}{\text{Var}}$

Zauważ, że ponieważ $\Var(X) = \Cov(X,X)$

Dla dwóch dowolnych zmiennych losowych mamy: $X,Y$

\begin{aligned} Var (X + Y) & = Cov (X + Y, X + Y) \\ = E ((X + Y)^{2}) - E (X + Y) E (X + Y) \\ by expanding, \\ = E (X^{2}) - (E (X))^{2} + E (Y^{2}) - (E (Y))^{2} + 2 (E (X Y) - E (X) E (Y)) \\ = Var (X) + Var (Y) + 2 (E (X Y)) - E (X) E (Y)) \end{aligned}

$\begin{align} \Var(X+Y) &= \Cov(X+Y,X+Y) \\ &= E((X+Y)^2)-E(X+Y)E(X+Y) \\ &\text{by expanding,} \\ &= E(X^2) - (E(X))^2 + E(Y^2) - (E(Y))^2 + 2(E(XY) - E(X)E(Y)) \\ &= \Var(X) + \Var(Y) + 2(E(XY)) - E(X)E(Y)) \\ \end{align}$ Zasadniczo zatem wariancja sumy dwóch zmiennych losowych nie jest sumą wariancji. Jeśli jednak są niezależne, to , a mamy .

X, Y

$X,Y$

E (X Y) = E (X) E (Y)

$E(XY) = E(X)E(Y)$

Var (X + Y) = Var (X) + Var (Y)

$\Var(X+Y) = \Var(X) + \Var(Y)$

Zauważ, że możemy wygenerować wynik dla sumy zmiennych losowych za pomocą prostej indukcji. $n$

— Omar Haque
źródło

11

Tak, jeśli każda para jest nieskorelowana, to prawda. $X_i$

Zobacz wyjaśnienie na Wikipedii

— Abe
źródło

Zgadzam się. Znajdziesz także proste (r) wyjaśnienie na temat Insight Things .

— Jan Rothkegel,