Związany z korelacją trzech zmiennych losowych

Istnieją trzy losowe zmienne, $x,y,z$ . Trzy korelacje między trzema zmiennymi są takie same. To jest,

$$\rho=\textrm{cor}(x,y)=\textrm{cor}(x,z)=\textrm{cor}(y,z)$$

Jaka jest najściślejsza granica, jaką możesz dla $\rho$ ?

Wspólna korelacja $\rho$ może mieć wartość $+1$ ale nie $-1$ . Jeśli $\rho_{X,Y}= \rho_{X,Z}=-1$ , to $\rho_{Y,Z}$ nie może być równe $-1$ ale w rzeczywistości wynosi $+1$ . Najmniejszą wartością wspólnej korelacji trzech zmiennych losowych jest $-\frac{1}{2}$ . Mówiąc bardziej ogólnie, minimalna wspólna korelacja$n$zmiennych losowych wynosi$-\frac{1}{n-1}$ gdy traktowane jako wektory, znajdują się na wierzchołkach simpleksu (o wymiarze$n-1$) wprzestrzeni$n$wymiarowej.

Rozważ wariancję sumy zmiennych losowych $n$ jednostek wariancji $X_i$ . Mamy to gdzie ˉ ń jestwartość średniazwspółczynniki korelacji. Ale ponieważ, łatwo otrzymujemy z że

$$\begin{align*} \operatorname{var}\left(\sum_{i=1}^n X_i\right) &= \sum_{i=1}^n \operatorname{var}(X_i) + \sum_{i=1}^n\sum_{j\neq i}^n \operatorname{cov}(X_i,X_j)\\ &= n + \sum_{i=1}^n\sum_{j\neq i}^n \rho_{X_i,X_j}\\ &= n + n(n-1)\bar{\rho} \tag{1} \end{align*}$$ $\bar{\rho}$$\binom{n}{2}$$\operatorname{var}\left(\sum_i X_i\right) \geq 0$$(1)$ $$\bar{\rho} \geq -\frac{1}{n-1}.$$

Tak więc średnia wartość współczynnika korelacji wynosi co najmniej . Jeśli wszystkie współczynniki korelacji mają tę samą wartość , to ich średnia również jest równa a więc mamy to Czy możliwe są zmienne losowe, dla których wspólna wartość korelacji jest równa ? Tak. Załóżmy, że są nieskorelowanymi zmiennymi losowymi wariancji jednostek i . Następnie , podczas gdy $-\frac{1}{n-1}$$\rho$$\rho$

$$\rho \geq -\frac{1}{n-1}.$$ $\rho$ $-\frac{1}{n-1}$$X_i$$Y_i = X_i - \frac{1}{n}\sum_{j=1}^n X_j = X_i -\bar{X}$$E[Y_i]=0$ $$\displaystyle \operatorname{var}(Y_i) = \left(\frac{n-1}{n}\right)^2 + (n-1)\left(\frac{1}{n}\right)^2 = \frac{n-1}{n}$$ i dając Zatem są zmiennymi losowymi, osiągającymi minimalną wspólną wartość korelacji . Zauważmy, przy okazji, że , a więc, uważane za wektory, zmienne losowe leżą w -płaszczyznowej hiperpłaszczyźnie $$\operatorname{cov}(Y_i,Y_j) = -2\left(\frac{n-1}{n}\right)\left(\frac{1}{n}\right) + (n-2)\left(\frac{1}{n}\right)^2 = -\frac{1}{n}$$ $$\rho_{Y_i,Y_j} = \frac{\operatorname{cov}(Y_i,Y_j)}{\sqrt{\operatorname{var}(Y_i)\operatorname{var}(Y_j)}} =\frac{-1/n}{(n-1)/n} = -\frac{1}{n-1}.$$ $Y_i$$-\frac{1}{n-1}$$\sum_i Y_i = 0$$(n-1)$$n$-wymiarowa przestrzeń.

Najściślejsza możliwa granica to . $-1/2 \le \rho \le 1$ Wszystkie takie wartości mogą się faktycznie pojawić - żadne nie jest niemożliwe.

Aby pokazać, że w wyniku nie ma nic szczególnie głębokiego lub tajemniczego, ta odpowiedź najpierw przedstawia całkowicie elementarne rozwiązanie, wymagające jedynie oczywistego faktu, że wariancje - będące oczekiwanymi wartościami kwadratów - muszą być nieujemne. Po tym następuje ogólne rozwiązanie (które wykorzystuje nieco bardziej wyrafinowane fakty algebraiczne).

Podstawowe rozwiązanie

Wariancja dowolnej liniowej kombinacji musi być nieujemna. $x,y,z$ Niech wariancje tych zmiennych wynoszą odpowiednio i . Wszystkie są niezerowe (w przeciwnym razie niektóre korelacje nie zostałyby zdefiniowane). Korzystając z podstawowych właściwości wariancji, możemy obliczyć$\sigma^2, \tau^2,$$\upsilon^2$

$$0 \le \text{Var}(\alpha x/\sigma + \beta y/\tau + \gamma z/\upsilon) = \alpha^2 +\beta^2+\gamma^2 + 2\rho(\alpha\beta+\beta\gamma+\gamma\alpha)$$

dla wszystkich liczb rzeczywistych .$(\alpha, \beta, \gamma)$

Zakładając , mała manipulacja algebraiczna implikuje, że jest to równoważne z$\alpha+\beta+\gamma\ne 0$

$$\frac{-\rho}{1-\rho} \le \frac{1}{3} \left(\frac{\sqrt{(\alpha^2+\beta^2+\gamma^2)/3}}{(\alpha+\beta+\gamma)/3}\right)^2.$$

Kwadrat po prawej stronie to stosunek dwóch średnich mocy . Elementarna mocy średniej nierówność (z wagą ) zapewnia, że stosunek nie przekracza (i będzie wynosić , gdy ). Trochę więcej algebry to sugeruje$(\alpha, \beta, \gamma)$$(1/3, 1/3, 1/3)$$1$$1$$\alpha=\beta=\gamma\ne 0$

$$\rho \ge -1/2.$$

Wyraźny przykład poniżej (obejmujący trywialne zmienne normalne ) pokazuje, że wszystkie takie wartości, , faktycznie powstają jako korelacje. W tym przykładzie użyto tylko definicji wielowymiarowych normalnych, ale w innym przypadku nie wywołuje wyników rachunku różniczkowego lub algebry liniowej.$n=3$$(x,y,z)$$-1/2 \le \rho \le 1$

Ogólne rozwiązanie

Przegląd

Każda macierz korelacji jest macierzą kowariancji znormalizowanych zmiennych losowych, skąd - podobnie jak wszystkie macierze korelacji - musi być dodatnia półokreślona. Odpowiednio jego wartości własne nie są ujemne. Nakłada to prosty warunek na : nie może być mniejszy niż (i oczywiście nie może przekraczać ). Odwrotnie, każda taka rzeczywiście odpowiada macierzy korelacji pewien rozkład trivariate, potwierdzające te granice są możliwie szczelnego.$\rho$$-1/2$$1$$\rho$

---

Wyprowadzenie warunków na$\rho$

Rozważ macierz korelacji na ze wszystkimi wartościami nie przekątnymi równymi(Pytanie dotyczy przypadku ale tej uogólnienia nie jest już trudniej analizować.) Nazwijmy to Z definicji jest wartością własną, pod warunkiem, że istnieje niezerowy wektor taki że$n$$n$$\rho.$$n=3,$$\mathbb{C}(\rho, n).$$\lambda$$\mathbf{x}_\lambda$

$$\mathbb{C}(\rho,n) \mathbf{x}_\lambda = \lambda \mathbf{x}_\lambda.$$

Te wartości własne są łatwe do znalezienia w niniejszej sprawie, ponieważ

1. Letting , oblicz to$\mathbf{1} = (1, 1, \ldots, 1)'$

   $$\mathbb{C}(\rho,n)\mathbf{1} = (1+(n-1)\rho)\mathbf{1}.$$

2. Niech z tylko w miejscu (dla ), oblicz to$\mathbf{y}_j = (-1, 0, \ldots, 0, 1, 0, \ldots, 0)$$1$$j^\text{th}$$j = 2, 3, \ldots, n$

   $$\mathbb{C}(\rho,n)\mathbf{y}_j = (1-\rho)\mathbf{y}_j.$$

Ponieważ znalezionych wcześniej wektorów własnych obejmuje całą przestrzeń wymiarową (dowód: łatwa redukcja rzędu pokazuje wartość bezwzględną ich wyznacznika równą , która jest niezerowa), stanowią one podstawę wszystkich wektorów własnych. W związku z tym znaleźliśmy wszystkie wartości własne i ustaliliśmy, że są to lub (te ostatnie z wielokrotnością ). Oprócz dobrze znanej nierówności spełniają wszystkie korelacje, brak negatywności pierwszej wartości własnej dodatkowo implikuje$n$$n$$n$$1+(n-1)\rho$$1-\rho$$n-1$$-1 \le \rho \le 1$

$$\rho \ge -\frac{1}{n-1}$$

podczas gdy brak negatywności drugiej wartości własnej nie stwarza żadnych nowych warunków.

---

Dowód wystarczalności warunków

Implikacje działają w obu kierunkach: pod warunkiem macierz jest nieujemna i dlatego jest prawidłową macierzą korelacji. Jest to na przykład macierz korelacji dla rozkładu wielomianowego. W szczególności pisz$-1/(n-1)\le \rho \le 1,$$\mathbb{C}(\rho, n)$

$$\Sigma(\rho, n) = (1 + (n-1)\rho)\mathbb{I}_n - \frac{\rho}{(1-\rho)(1+(n-1)\rho)}\mathbf{1}\mathbf{1}'$$

dla odwrotności kiedy Na przykład, gdy$\mathbb{C}(\rho, n)$$-1/(n-1) \lt \rho \lt 1.$$n=3$

$$\color{gray}{\Sigma(\rho, 3) = \frac{1}{(1-\rho)(1+2\rho)} \left( \begin{array}{ccc} \rho +1 & -\rho & -\rho \\ -\rho & \rho +1 & -\rho \\ -\rho & -\rho & \rho +1 \\ \end{array} \right)}.$$

Niech wektor zmiennych losowych ma funkcję rozkładu$(X_1, X_2, \ldots, X_n)$

$$f_{\rho, n}(\mathbf{x}) = \frac{\exp\left(-\frac{1}{2}\mathbf{x}\Sigma(\rho, n)\mathbf{x}'\right)}{(2\pi)^{n/2}\left((1-\rho)^{n-1}(1+(n-1)\rho)\right)^{1/2}}$$

gdzie . Na przykład, gdy jest to równe$\mathbf{x} = (x_1, x_2, \ldots, x_n)$$n=3$

$$\color{gray}{\frac{1}{\sqrt{(2\pi)^{3}(1-\rho)^2(1+2\rho)}} \exp\left(-\frac{(1+\rho)(x^2+y^2+z^2) - 2\rho(xy+yz+zx)}{2(1-\rho)(1+2\rho)}\right)}.$$

Macierz korelacji dla tych zmiennych losowych to$n$$\mathbb{C}(\rho, n).$

Kontury funkcji gęstości Od lewej do prawej . Zauważ, jak gęstość przesuwa się od koncentracji w pobliżu płaszczyzny do koncentracji w pobliżu linii .$f_{\rho,3}.$$\rho=-4/10, 0, 4/10, 8/10$$x+y+z=0$$x=y=z$

Przypadki specjalne i można również zrealizować przez rozkłady zdegenerowane ; Nie będę wchodził w szczegóły, poza zaznaczeniem, że w pierwszym przypadku dystrybucję można uznać za obsługiwaną na hiperpłaszczyźnie , gdzie jest to suma identycznie rozmieszczonych średnich Rozkład normalny, podczas gdy w tym drugim przypadku (idealna korelacja dodatnia) jest obsługiwany na linii generowanej przez , gdzie ma średnią Rozkład normalny.$\rho = -1/(n-1)$$\rho = 1$$\mathbf{x}.\mathbf{1}=0$$0$$\mathbf{1}'$$0$

---

Więcej o nie-degeneracji

Przegląd tej analizy wyjaśnia, że ​​macierz korelacji ma rangę a ma rangę z (ponieważ tylko jeden wektor własny ma niezerową wartość własną). Dla powoduje to degenerację macierzy korelacji w obu przypadkach. W przeciwnym razie istnienie jego odwrotności dowodzi, że nie jest on generowany.$\mathbb{C}(-1/(n-1), n)$$n-1$$\mathbb{C}(1, n)$$1$$n\ge 2$$\Sigma(\rho, n)$

Twoja macierz korelacji jest

$$\begin{pmatrix} 1&\rho&\rho\\ \rho&1&\rho\\ \rho&\rho&1 \end{pmatrix}$$

Macierz jest dodatnia półfinałowa, jeśli wszyscy główni nieletni są nieujemni. Głównymi nieletnimi są wyznaczniki „północno-zachodnich” bloków macierzy, tj. 1, wyznacznik

$$\begin{pmatrix} 1&\rho\\ \rho&1\end{pmatrix}$$

oraz wyznacznik samej macierzy korelacji.

1 jest oczywiście dodatnia, drugim zasadniczym nieletnim jest , co nie jest ujemne dla żadnej dopuszczalnej korelacji . Wyznacznikiem całej macierzy korelacji jest$1-\rho^2$$\rho\in[-1,1]$

$$2\rho^3-3\rho^2+1.$$

Wykres pokazuje wyznacznik funkcji w zakresie dopuszczalnych korelacji . $[-1,1]$

Widzisz, że funkcja jest nieujemna w zakresie podanym przez @stochazesthai (który możesz również sprawdzić, znajdując pierwiastki równania determinantalnego).

Istnieją zmienne losowe , i z parami korelacji tylko wtedy, gdy macierz korelacji jest dodatnia półfinałowa. Dzieje się tak tylko dla .$X$$Y$$Z$$\rho_{XY} = \rho_{YZ} = \rho_{XZ} = \rho$$\rho \in [-\frac{1}{2},1]$