Czy suma i iloczyn dwóch macierzy kowariancji jest również macierzą kowariancji?

12

Załóżmy, że ma macierzy kowariancji i . Które z tych opcji są zatem również macierzami kowariancji? $X$ $Y$

$X+Y$
$X^2$
$XY$

Mam trochę problemów ze zrozumieniem, co dokładnie jest potrzebne, aby coś mogło być matrycą kowariancji. Podejrzewam, że oznacza to na przykład, że jeśli nazwa , a że aby 1 mógł być prawdziwy, powinniśmy mieć , gdzie i kilka innych zmiennych losowych. Nie rozumiem jednak, dlaczego miałoby to dotyczyć żadnej z trzech opcji. Każdy wgląd byłby doceniony. $X=\operatorname{cov}(X_1,X_2)$ $Y=\operatorname{cov}(Y_1,Y_2)$ $\operatorname{cov}(X_1,X_2) + \operatorname{cov}(Y_1,Y_2) = \operatorname{cov}(Z_1, Z_2)$ $Z_1$ $Z_2$

covariance covariance-matrix

— rbm
źródło

12

tło

Macierz kowariancji dla wektora zmiennych losowych zawiera procedurę obliczania wariancji dowolnej liniowej kombinacji tych zmiennych losowych. Zasadą jest, że dla dowolnego wektora współczynników , $\mathbb{A}$ $X=(X_1, X_2, \ldots, X_n)^\prime$ $\lambda = (\lambda_1, \ldots, \lambda_n)$

\begin{matrix} (1) & Var (λ X) = λ A λ^{'} . \end{matrix}

$\operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.\tag{1}$

Innymi słowy, reguły mnożenia macierzy opisują reguły wariancji.

Dwie właściwości są natychmiastowe i oczywiste: $\mathbb{A}$

Ponieważ wariancje są oczekiwanymi wartościami do kwadratu, nigdy nie mogą być ujemne. Zatem dla wszystkich wektorów ,Macierze kowariancji muszą być nieokreślone z góry. $\lambda$
$0 \leq Var (λ X) = λ A λ^{'} .$ $0 \le \operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.$
Odchylenia są tylko liczbami - lub, jeśli czytasz formuły macierzowe dosłownie, są to macierze. Dlatego nie zmieniają się, gdy je transponujesz. Transpozycja daje Ponieważ dotyczy to wszystkich , musi być równa transpozycji : macierze kowariancji muszą być symetryczne. $1\times 1$ $(1)$
$λ A λ^{'} = Var (λ X) = Var (λ X)^{'} = {(λ A λ^{'})}^{'} = λ A^{'} λ^{'} .$ $\lambda \mathbb{A} \lambda ^\prime = \operatorname{Var}(\lambda X) = \operatorname{Var}(\lambda X) ^\prime = \left(\lambda \mathbb{A} \lambda ^\prime\right)^\prime = \lambda \mathbb{A}^\prime \lambda ^\prime.$ $\lambda$ $\mathbb{A}$ $\mathbb{A}^\prime$

Głębszy wynik jest taki, że jakakolwiek nie-ujemna macierz symetryczna jest macierzą kowariancji. $\mathbb{A}$ Oznacza to, że faktycznie istnieje pewna zmienna losowa o wartości wektorowej z jako jej kowariancją. Możemy zademonstrować to wyraźnie konstruowania . Jednym ze sposobów jest zauważenie, że funkcja gęstości (wielowymiarowa) z właściwością ma ze względu na kowariancję. (Potrzebna jest delikatność, gdy nie jest odwracalny - ale to tylko szczegół techniczny.) $X$ $\mathbb{A}$ $X$ $f(x_1,\ldots, x_n)$

\log (f) \propto - \frac{1}{2} (x_{1}, \dots, x_{n}) A^{- 1} (x_{1}, \dots, x_{n})^{'}

$\log(f) \propto -\frac{1}{2} (x_1,\ldots,x_n)\mathbb{A}^{-1}(x_1,\ldots,x_n)^\prime$

A

$\mathbb{A}$

A

$\mathbb{A}$

Rozwiązania

Niech i będą macierzami kowariancyjnymi. Oczywiście są kwadratowe; a jeśli ich suma ma sens, muszą mieć te same wymiary. Musimy tylko sprawdzić dwie właściwości. $\mathbb{X}$ $\mathbb{Y}$

Suma.
- Symetria pokazuje suma jest symetryczna. $(X + Y)^{'} = X^{'} + Y^{'} = (X + Y)$ $(\mathbb{X}+\mathbb{Y})^\prime = \mathbb{X}^\prime + \mathbb{Y}^\prime = (\mathbb{X} + \mathbb{Y})$
- Nieujemna definitywność. Niech będzie dowolnym wektorem. Następnie potwierdza punkt przy użyciu podstawowych właściwości mnożenia macierzy. $\lambda$ $λ (X + Y) λ^{'} = λ X λ^{'} + λ Y λ^{'} \geq 0 + 0 = 0$ $\lambda(\mathbb{X}+\mathbb{Y})\lambda^\prime = \lambda \mathbb{X}\lambda^\prime + \lambda \mathbb{Y}\lambda^\prime \ge 0 + 0 = 0$
Zostawiam to jako ćwiczenie.
Ten jest trudny. Jedną z metod, które wykorzystuję do przemyślenia trudnych problemów z macierzą, jest wykonanie pewnych obliczeń za pomocą macierzy . Istnieje kilka popularnych, znanych macierzy kowariancji o tym rozmiarze, takich jak z i . Problem polega na tym, że może nie być jednoznaczny: to znaczy, czy może dawać wartość ujemną przy obliczaniu wariancji? Jeśli tak, to lepiej, żebyśmy mieli pewne ujemne współczynniki w macierzy. Sugeruje to rozważenie dla . Aby uzyskać coś interesującego, możemy początkowo przyciągać do matryc $2\times 2$
$(\begin{matrix} a & b \\ b & a \end{matrix})$ $\pmatrix{a & b \\ b & a}$ $a^2 \ge b^2$ $a \ge 0$ $\mathbb{XY}$ $X = (\begin{matrix} a & - 1 \\ - 1 & a \end{matrix})$ $\mathbb{X} = \pmatrix{a & -1 \\ -1 & a}$ $a \ge 1$ $\mathbb{Y}$ o różnych strukturach. Przychodzą mi na myśl macierze diagonalne, takie jak z . (Zauważ, jak możemy swobodnie wybierać niektóre współczynniki, takie jak i , ponieważ możemy przeskalować wszystkie wpisy w dowolnej macierzy kowariancji bez zmiany jej podstawowych właściwości. Upraszcza to wyszukiwanie interesujących przykładów.) $Y = (\begin{matrix} b & 0 \\ 0 & 1 \end{matrix})$ $\mathbb{Y} = \pmatrix{b & 0 \\ 0 & 1}$ $b\ge 0$ $-1$ $1$
Pozostawiam Ci obliczenie i sprawdzenie, czy zawsze jest to macierz kowariancji dla dowolnych dopuszczalnych wartości i . $\mathbb{XY}$ $a$ $b$

— Whuber
źródło

13

Prawdziwa macierz jest macierzą kowariancji wtedy i tylko wtedy, gdy jest symetryczna dodatnio półokreślona.

Poradnik:

1) Jeśli i są symetryczne, czy symetryczne? Jeśli dla dowolnego oraz dla dowolnego , co możesz wyciągnąć na temat ? $X$ $Y$ $X+Y$ $z^TX z \ge 0$ $z$ $z^TY z \ge 0$ $z$ $z^T(X+Y)z$

2) Jeśli jest symetryczny, czy symetryczny? Jeśli wartości własne są nieujemne, co możesz wyciągnąć na temat wartości własnych ? $X$ $X^2$ $X$ $X^2$

3) Jeśli i są symetryczne, czy możesz dojść do wniosku, że jest symetryczny, czy możesz znaleźć przeciwny przykład? $X$ $Y$ $XY$

— Mark L. Stone
źródło