Wystarczające i niezbędne warunki dla zerowej wartości własnej macierzy korelacji

Biorąc pod uwagę $n$ Zmienna losowa $X_i$ z rozkładu prawdopodobieństwa $P(X_1,\ldots,X_n)$ , w korelacji macierzy $C_{ij}=E[X_i X_j]-E[X_i]E[X_j]$ jest dodatnia pół- określony, tj. jego wartości własne są dodatnie lub zerowe.

Interesują mnie warunki na $P$ które są konieczne i / lub wystarczające, aby $C$ miał $m$ zero wartości własnych. Na przykład wystarczającym warunkiem jest to, że zmienne losowe nie są niezależne: $\sum_i u_i X_i=0$ dla niektórych liczb rzeczywistych $u_i$ . Na przykład, jeśli $P(X_1,\ldots,X_n)=\delta(X_1-X_2)p(X_2,\ldots,X_n)$ , a następnie$\vec u=(1,-1,0,\ldots,0)$ jest wektorem własnym$C$ o zerowej wartości własnej. Jeżeli mamy$m$ niezależne ograniczenia liniowe na$X_i$ tego typu, oznaczałoby to$m$ zero wartości własnych.

Istnieje co najmniej jedna dodatkowa (ale trywialna) możliwość, gdy dla niektórych a (tj. P ( X 1 , … , X n ) ∝ δ ( X a - E $X_a=E[X_a]$$a$ ), ponieważ w tym przypadku C i j ma kolumnę i wiersz zer: C i a = C a i = 0 $P(X_1,\ldots,X_n)\propto\delta(X_a-E[X_a])$$C_{ij}$ . Ponieważ nie jest to tak naprawdę interesujące, zakładam, że rozkład prawdopodobieństwa nie ma takiej postaci.$C_{ia}=C_{ai}=0,\,\forall i$

Moje pytanie brzmi: czy ograniczenia liniowe to jedyny sposób na wywołanie zerowych wartości własnych (jeśli zabronimy trywialnego wyjątku podanego powyżej), czy też nieliniowe ograniczenia zmiennych losowych mogą również generować zerowe wartości własne ?$C$

Być może poprzez uproszczenie zapisu możemy wydobyć podstawowe idee. Okazuje się, że nie potrzebujemy angażować oczekiwań ani skomplikowanych formuł, ponieważ wszystko jest czysto algebraiczne.

---

Algebraiczna natura obiektów matematycznych

Pytanie dotyczy relacji między (1) macierzą kowariancji skończonego zbioru zmiennych losowych oraz (2) relacjami liniowymi między tymi zmiennymi, uważanymi za wektory .$X_1, \ldots, X_n$

Przestrzeń wektorową o którym mowa, jest to zbiór wszystkich skończonych wariancji zmiennej losowej (w danym miejscu prawdopodobieństwa ) modulo podprzestrzeni zmiennych prawie na pewno stałych, oznaczono L 2 ( Ω , P ) / R . (To znaczy, uważamy dwie losowe zmienne X i Y za ten sam wektor, gdy istnieje zerowa szansa, że X - Y różni się od jego oczekiwań.) Mamy do czynienia tylko z przestrzenną przestrzenią wektorową V generowaną przez X i$(\Omega,\mathbb P)$$\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R.$$X$$Y$$X-Y$$V$$X_i,$ co sprawia, że ​​jest to problem algebraiczny, a nie analityczny.

Co musimy wiedzieć o wariancjach

jest czymś więcej niż przestrzenią wektorową: jestmodułem kwadratowym,ponieważ jest wyposażony w wariancję. Wszystko, co musimy wiedzieć o wariancjach, to dwie rzeczy:$V$

1. Wariancja jest skalar wartościach funkcji z własności, że P ( x ) = a 2 Q ( X ) dla wszystkich wektorów X $Q$$Q(aX)=a^2Q(X)$$X.$

2. Wariancja nie jest generowana.

Drugi wymaga wyjaśnienia. określa „iloczyn punktowy”, który jest symetryczną dwuliniową formą podaną przez$Q$

$$X\cdot Y = \frac{1}{4}\left(Q(X+Y) - Q(X-Y)\right).$$

(Jest to oczywiście nic innego niż kowariancji zmiennych i Y . ) Wektorów X i Y są prostopadłe , gdy ich iloczyn skalarny wynosi 0. ortogonalne dopełnienie dowolnego zbioru wektorów ⊂ V składa się z wszystkich wektorów ortogonalnych do każdego elementu z A , napisane$X$$Y.$$X$$Y$$0.$$\mathcal A \subset V$$\mathcal A,$

$$\mathcal{A}^0 = \{v\in V\mid a . v = 0\text{ for all }v \in V\}.$$

Jest to wyraźnie przestrzeń wektorowa. Gdy , Q nie jest generowany.$V^0 = \{0\}$$Q$

Pozwólcie mi udowodnić, że wariancja rzeczywiście nie jest generowana, nawet jeśli może wydawać się oczywista. Załóżmy, że jest niezerowym elementem V 0 . Oznacza to, że X ⋅ Y = 0 dla wszystkich Y ∈ V ; równoważnie$X$$V^0.$$X\cdot Y = 0$$Y\in V;$

$$Q(X+Y) = Q(X-Y)$$

dla wszystkich wektorów Biorąc $Y.$ daje$Y=X$

$$4 Q(X) = Q(2X) = Q(X+X) = Q(X-X) = Q(0) = 0$$

a zatem Wiemy jednak (być może przy użyciu nierówności Czebyszewa), że jedyne zmienne losowe o zerowej wariancji są prawie na pewno stałe, co identyfikuje je z wektorem zerowym w V , QED.$Q(X)=0.$$V,$

Interpretacja pytań

Wracając do pytań, w poprzednim zapisie macierz kowariancji zmiennych losowych jest po prostu regularną tablicą wszystkich ich produktów kropkowych,

$$T = (X_i\cdot X_j).$$

There is a good way to think about $T$: it defines a linear transformation on $\mathbb{R}^n$ in the usual way, by sending any vector $x=(x_1, \ldots, x_n)\in\mathbb{R}^n$ into the vector $T(x)=y=(y_1, \ldots, x_n)$ whose $i^\text{th}$ component is given by the matrix multiplication rule

$$y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j.$$

The kernel of this linear transformation is the subspace it sends to zero:

$$\operatorname{Ker}(T) = \{x\in \mathbb{R}^n\mid T(x)=0\}.$$

The foregoing equation implies that when $x\in \operatorname{Ker}(T),$ for every $i$

$$0 = y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j = X_i \cdot \left(\sum_j x_j X_j\right).$$

Since this is true for every $i,$ it holds for all vectors spanned by the $X_i$: namely, $V$ itself. Consequently, when $x\in\operatorname{Ker}(T),$ the vector given by $\sum_j x_j X_j$ lies in $V^0.$ Because the variance is nondegenerate, this means $\sum_j x_j X_j = 0.$ That is, $x$ describes a linear dependency among the $n$ original random variables.

You can readily check that this chain of reasoning is reversible:

Linear dependencies among the $X_j$ as vectors are in one-to-one correspondence with elements of the kernel of $T.$

(Remember, this statement still considers the $X_j$ as defined up to a constant shift in location--that is, as elements of $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R$--rather than as just random variables.)

Finally, by definition, an eigenvalue of $T$ is any scalar $\lambda$ for which there exists a nonzero vector $x$ with $T(x) = \lambda x.$ When $\lambda=0$ is an eigenvalue, the space of associated eigenvectors is (obviously) the kernel of $T.$

---

Summary

We have arrived at the answer to the questions: the set of linear dependencies of the random variables, qua elements of $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R,$ corresponds one-to-one with the kernel of their covariance matrix $T.$ This is so because the variance is a nondegenerate quadratic form. The kernel also is the eigenspace associated with the zero eigenvalue (or just the zero subspace when there is no zero eigenvalue).

---

Reference

I have largely adopted the notation and some of the language of Chapter IV in

Jean-Pierre Serre, A Course In Arithmetic. Springer-Verlag 1973.

Linear independence is not just sufficient but also a neccesary condition

To show that the variance-covariance matrix has eigenvalues equal to zero if and only if the variables are not linearly independent, it only remains to be shown that "if the matrix has eigenvalues equal to zero then the variables are not linearly independent".

If you have a zero eigenvalue for $C_{ij} = \text{Cov}(X_i,X_j)$ then there is some linear combination (defined by the eigenvector $v$)

$$Y = \sum_{i=1}^n v_i (X_i)$$

such that

$$\begin{array}{rcl} \text{Cov}(Y,Y) &=& \sum_{i=1}^n \sum_{j=1}^n v_i v_j \text{Cov}(X_i,X_j) \\ &=&\sum_{i=1}^n v_i\sum_{j=1}^n v_j C_{ij} \\ &= &\sum_{i=1}^n v_i \cdot 0 \\ &=& 0 \end{array}$$

which means that $Y$ needs to be a constant and thus the variables $X_i$ have to add up to a constant and are either constants themselves (the trivial case) or not linearly independent.

^{- the first line in the equation with $\text{Cov}(Y,Y)$ is due to the property of covariance}

$$\scriptsize\text{Cov}(aU+bV,cW+dX) = ac\,\text{Cov}(U,W) + bc\,\text{Cov}(V,W) +ad\, \text{Cov}(U,X) + bd \,\text{Cov}(V,X)$$

^{- the step from the second to the third line is due to the property of a zero eigenvalue}

$$\scriptsize \sum_{j=1}^nv_jC_{ij} = 0$$

---

Non-linear constraints

So, since linear constraints are a necessary condition (not just sufficient), non-linear constraints will only be relevant when they indirectly imply a (necessary) linear constraint.

In fact, there is a direct correspondence between the eigenvectors associated with the zero eigenvalue and the linear constraints.

$$C \cdot v = 0 \iff Y = \sum_{i=1}^n v_i X_i = \text{const}$$

Thus non-linear constraints leading to a zero eigenvalue must, together combined, generate some linear constraint.

---

How can non-linear constraints lead to linear constraints

Your example in the comments can show this intuitively how non-linear constraints can lead to linear constraints by reversing the derivation. The following non-linear constraints

$$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ ac + bd &=& 0 \\ ad - bc &=& 1 \end{array}$$

can be reduced to

$$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ a-d&=&0 \\ b+c &=& 0 \end{array}$$

You could inverse this. Say you have non-linear plus linear constraints, then it is not strange to imagine how we can replace one of the linear constraints with a non-linear constraint, by filling the linear constraints into the non-linear constraints. E.g when we substitute $a=d$ and $b=-c$ in the non-linear form $a^2+b^2=1$ then you can make another relationship $ad-bc=1$. And when you multiply $a=d$ and $c=-b$ then you get $ac=-bd$.

Suppose $C$ has an eigenvector $v$ with corresponding eigenvalue $0$, then $\operatorname{var}(v^T X) = v^T Cv = 0$. Thus, by Chebyshev's inequality, $v^TX$ is almost surely constant and equal to $v^T E [X]$. That is, every zero eigenvalue corresponds to a linear restriction, namely $v^T X = v^T E[X]$. There is no need to consider any special cases.

Thus, we conclude:

"are linear constraints the only way to induce zero eigenvalues [?]"

Yes.

"can non-linear constraints on the random variables also generate zero eigenvalues of C ?"

Yes, if they imply linear constraints.

The covariance marix $C$ of $X$ is symmetric so you can diagnonalize it as $C=Q\Lambda Q^T$, with the eigenvalues in the diagonal matrix $\Lambda.$ Rewriting this as $\Lambda=Q^TCQ$, the rhs is the covariance matrix of $Q^TX$, so zero eigenvalues on the lhs correspond to linear combinations of $X$ with degenerate distributions.