Dlaczego macierz korelacji musi być dodatnia półokreślona i co to znaczy być dodatnim półokreślonym?

Badałem znaczenie dodatnich półokreślonych właściwości macierzy korelacji lub kowariancji.

Szukam jakichkolwiek informacji na temat

Definicja dodatniej półokreśloności;
Jego ważne właściwości, praktyczne implikacje;
Konsekwencja negatywnego wyznacznika, wpływ na analizę wielowymiarową lub wyniki symulacji itp.

— Melon
źródło

Czy chcesz zrozumieć, czym jest półokreślalność, czy chcesz wiedzieć, dlaczego macierze korelacji muszą być półokreślone , czy chcesz wiedzieć, jakie ważne wyniki implikuje ta właściwość?

— whuber

Jeśli macierze korelacji nie są definitywnie pół-dodatnie, można uzyskać wariancje, które są ujemne.

Trochę edytowałem twoje pytanie, sprawdź je. Należy również pamiętać, że macierz z parzystą liczbą ujemnych wartości własnych nadal będzie miała dodatnią determinantę.

— ttnphns

Macierz kowariancji NIE zawsze jest równa macierzy korelacji! Kowariancja uwzględnia zmienne znormalizowane, podczas gdy matryca korelacji nie.

— Manoj Kumar,

Powiązane pytania: Czy każda macierz kowariancji jest dodatnia? uważa szerszy przypadek macierzy kowariancji, których szczególnym przypadkiem są macierze korelacji; również Czy każda macierz korelacji jest dodatnia na półokreślona? i Czy każda macierz korelacji jest dodatnia?

— Silverfish

Odpowiedzi:

Wariancja sumy ważonej zmiennych losowych musi być nieujemna dla wszystkich wyborów liczb rzeczywistych . Ponieważ wariancja może być wyrażona jako mamy, że macierz kowariancji musi być dodatnim półfinałem (który jest czasem nazywany nieujemnym określonym). Przypomnij sobie, że macierz nazywana jest dodatnim półfinałem tylko wtedy, gdy $\sum_i a_i X_i$ $a_i$

var (\sum_{i} a_{i} X_{i}) = \sum_{i} \sum_{j} a_{i} a_{j} cov (X_{i}, X_{j}) = \sum_{i} \sum_{j} a_{i} a_{j} Σ_{i, j},

$\operatorname{var}\left(\sum_i a_i X_i\right) = \sum_i \sum_j a_ia_j \operatorname{cov}(X_i,X_j) = \sum_i \sum_j a_ia_j \Sigma_{i,j},$

Σ = [Σ_{i, j}]

$\Sigma = [\Sigma_{i,j}]$

C

$C$

\sum_{i} \sum_{j} a_{i} a_{j} C_{i, j} \geq 0 \forall a_{i}, a_{j} \in R .

$\sum_i \sum_j a_ia_j C_{i,j} \geq 0 \;\; \forall a_i, a_j \in \mathbb R.$

— Dilip Sarwate
źródło

Dzięki, usunąłem moją opinię, ale nie głosowałem, ponieważ nie odpowiada na praktyczne implikacje. Powiedzmy, że mam matrycę, która nie jest jednoznacznie pozytywna (ze względu na przykład modyfikacji przez „eksperta”). Co by się stało, jeśli użyję go do kalibracji i / lub symulacji danych? W szczególności, czy jest to prawdziwy problem przy badaniu dużej sumy i istnieje tylko kilka ujemnych wartości własnych? Jaki byłby skuteczny algorytm do przekształcania nie dodatniej półokreślonej macierzy korelacji w dodatnią półokreśloną macierz? Jaki byłby wpływ tego algorytmu?

— lcrmorin

@Were_cat Dzięki za odwrócenie głosowania.

— Dilip Sarwate

Czy mógłbyś wyjaśnić pierwszą równość w pierwszym równaniu?

— Vivek Subramanian

var (X) = cov (X, X)

$\operatorname{var}(X)=\operatorname{cov}(X,X)$

\begin{aligned} cov (\sum_{i} a_{i} X_{i}, Y) & = \sum_{i} a_{i} cov (X_{i}, Y) \\ cov (X, \sum_{i} b_{j} Y_{j},) & = \sum_{j} b_{j} cov (X, Y_{j}) \end{aligned}

$\begin{align}\operatorname{cov}\left(\sum_i a_iX_i,Y\right)&=\sum_i a_i\operatorname{cov}(X_i,Y)\\ \operatorname{cov}\left(X, \sum_i b_jY_j,\right) &=\sum_j b_j \operatorname{cov}(X,Y_j)\end{align}$

Odpowiedź jest dość prosta.

Macierz korelacji jest zdefiniowana w następujący sposób:

Niech będzie macierzą danych: obserwacjami, zmiennymi. $X = [x_1, x_2, ..., x_n]$ $m\times n$ $m$ $n$

Zdefiniuj jako macierz znormalizowanych danych, gdzie jest średnią dla zmiennej 1, średnią dla zmiennej 2 itd., a standardowe odchylenie zmiennej 1 itd., a jest wektorem wszystkich 1s. $X_b= [\frac{(x_1-\mu_1 e)}{s_1}, \frac{(x_2-\mu_2 e)}{s_2}, \frac{(x_3-\mu_3 e)}{s_3}, ...]$ $\mu_1$ $\mu_2$ $s_1$ $e$

Macierz korelacji jest wtedy

C = X_{b}^{'} X_{b}

$C=X_b' X_b$

Macierz jest dodatnia półokreślona, jeśli nie ma wektora takiego, że . $A$ $z$ $z' A z <0$

Załóżmy, że nie jest jednoznacznie określony. Następnie istnieje wektor w taki, że . $C$ $w' C w<0$

$(w' C w)=(w' X_b' X_b w)=(X_b w)'(X_b w) = {z_1^2+z_2^2...}$ $z=X_b w$ $w' C w$

$U$ $V' V$

— Gregor
źródło

To zdecydowanie najostrzejsza, najbardziej zwięzła i użyteczna odpowiedź. Dzięki !

— Yohan Obadia

(Ewentualna luźność w rozumowaniu byłaby moja. Nie jestem matematykiem: to przedstawienie, nie dowód i pochodzi z moich eksperymentów numerycznych, nie z książek.)

Dodatni półokreśloną (PSD) matrycy, zwany również Macierz Grama jest matryca bez wartości własnych ujemnych. Macierz z ujemnymi wartościami własnymi nie jest dodatnim półfinałem lub nie jest gramatyczna. Oba mogą być określone (bez zerowych wartości własnych) lub pojedyncze (z co najmniej jedną zerową wartością własną). [Słowo „Gramian” jest używane w matematyce w kilku różnych znaczeniach, więc być może należy go unikać.]
W statystykach zwykle stosujemy te warunki do macierzy typu SSCP, zwanej także macierzą skalarną. Macierze korelacji lub kowariancji są szczególnymi przypadkami takiej macierzy .
Każda skalarna macierz produktu jest charakterystyką podsumowującą niektórych danych wielowymiarowych (chmura). Na przykład, biorąc pod uwagę przypadków danych zmiennych , moglibyśmy obliczyć macierz kowariancji X między zmiennymi lub X $n$ $p$ $p$ $p$ $n$ $n$ macierz kowariancji między przypadkami. Kiedy obliczasz to na podstawie rzeczywistych danych, matrycą zawsze będzie Gramian. Możesz otrzymać macierz inną niż Gramian (non-psd), jeśli (1) jest to macierz podobieństwa mierzona bezpośrednio (tj. Nie obliczona z danych) lub miara podobieństwa nie jest typem SSCP; (2) wartości macierzy zostały niepoprawnie wprowadzone; (3) macierz jest w rzeczywistości Gramianem, ale jest (lub tak blisko) osobliwa, że czasami spektralna metoda obliczania wartości własnych wytwarza małe ujemne zamiast prawdziwych zerowych lub małe dodatnie.
Alternatywnym i równoważnym podsumowaniem chmury jest macierz odległości euklidesowych. Iloczyn skalarny (taki jak kowariancja) między parą przedmiotów i odpowiadającą im kwadratową odległością euklidesową między nimi wiąże prawo cosinusów ( twierdzenie , spójrz na obrazek): , gdzie jest iloczynem skalarnym, a to odległości dwóch elementów od początku. W przypadku macierzy kowariancji między zmiennymi i wzór ten wygląda jak . $d_{12}^2 = h_1^2+h_2^2-2s_{12}$ $s$ $h$ $X$ $Y$ $d_{xy}^2 = \sigma_x^2+\sigma_y^2-2cov_{xy}$
Jako wniosek pośredni: macierz kowariancji (lub korelacji lub innego iloczynu skalarnego) między niektórymi elementami jest konfiguracją punktów osadzonych w przestrzeni euklidesowej, więc odległości euklidesowe są zdefiniowane między wszystkimi tymi punktami. $m$ $m$
$m$ $m$ $m$
Jakie są możliwe przyczyny lub wersje konfiguracji innej niż Gramian (nie euklidesowa)? Odpowiedzi wynikają z kontemplacji [punkt 4].
- $m$ $m$ $d$
- $h$ $d$ $d$ $h$ $h$
- $d$ $h$ $h_1+h_2 \ge d_{12} \ge |h_1-h_2|$
$|cov_{ij}| \gt \sigma_i \sigma_j$

Ryc.1.

Ryc. 1

Ryc2

Ryc. 2

Ryc. 3.

Ryc. 3

— ttnphns
źródło

Punkt 6 wymaga wykazania: wykazałeś, że macierz kwadratowych odległości euklidesowych jest pd, ale bez dowodu twierdzisz, że każdej macierzy pd odpowiada konfiguracja punktów euklidesowych. Nie podłączyłeś także swojej definicji pd („brak ujemnych wartości własnych”) do żadnej z twoich kolejnych charakterystyk. Kluczowa idea pojawia się na końcu (punkt 8): do zdefiniowania odległości można użyć macierzy pd. Logicznie, tutaj należy rozpocząć analizę.

— whuber

@whuber: Dziękuję za krytyczną ocenę. Obawiam się, że jeśli chodzi o matematyczne udowodnienie czegoś, tonę. Zgłosiłem część mojego praktycznego doświadczenia (powiedziałem to); odpowiedź nie była sekwencją analityczną. Czy nie chciałbyś wtedy dodać własnej odpowiedzi, która może poprawić / ulepszyć moją? Może okazać się cenną pomocą. Albo możesz pracować nad moim tekstem, aby go ulepszyć, jeśli uznasz, że nie jest on daremny.

— ttnphns

PS Mój punkt 8 sugeruje, że ponieważ podwójne centrowanie zakotwicza konfigurację punktów do jego środka ciężkości, sama ta operacja nie wprowadza braku euklidii (powoduje tylko osobliwość, ponieważ nowy punkt, środek, należy do tej samej przestrzeni). Stąd możemy sprawdzić, czy początkowa konfiguracja była euklidesowa. Czy to nie jest poprawne?

— ttnphns