Dlaczego ranga macierzy kowariancji wynosi co najwyżej

Jak stwierdzono w tym pytaniu, maksymalna ranga macierzy kowariancji wynosi $n-1$ gdzie $n$ jest rozmiarem próbki, a więc jeśli wymiar macierzy kowariancji jest równy wielkości próbki, byłby liczbą pojedynczą. Nie mogę zrozumieć, dlaczego mamy odjąć $1$ od maksymalnej rangi $n$ macierzy kowariancji.

covariance-matrix linear-algebra

— użytkownik3070752
źródło

Aby uzyskać intuicję, pomyśl o

n = 2

$n=2$ punktach w 3D. Jaka jest wymiarowość podprzestrzeni, w której znajdują się te punkty? Czy umieścisz je w linii (podprzestrzeń 1D)? A może potrzebujesz płaszczyzny (podprzestrzeń 2D)?

— ameba mówi Przywróć Monikę

Rozumiesz więc, że

n = 2

$n=2$ prowadzi do macierzy kowariancji rangi 1? Dobra, weźmy

n = 3

$n=3$ punkty. Czy widzisz, że zawsze możesz dopasować je do płaszczyzny 2D?

— ameba mówi Przywróć Monikę

@amoeba twój przykład był jasny, ale nie rozumiem, jaki jest związek między dopasowaniem hiperpłaszczyzny w twoim przykładzie a macierzą kowariancji?

— user3070752

Przepraszam za spóźnienie ;)

— user3070752 16.10.16

Odpowiedzi:

Bezstronny estymator przykładowej macierzy kowariancji dla punktów danych wynosi $n$ $\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$ gdziejest średnią dla wszystkich punktów. Oznaczmyjako

C = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤},

$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$

\bar{x} = \sum x_{i} / n

$\bar \x = \sum \x_i /n$

(x_{i} - \bar{x})

$(\x_i-\bar \x)$

. The

z_{i}

$\newcommand{\z}{\mathbf z}\z_i$

Współczynnik

nie zmienia rangi, a każdy termin w sumie ma (z definicji) rangę

, więc rdzeń pytania jest następujący:

\frac{1}{n - 1}

$\frac{1}{n-1}$

1

$1$

Dlaczego mają stopień , a nie stopień , gdyż wydaje się, ponieważ jesteśmy zsumowanie rank- matryc? $\sum \z_i\z_i^\top$ $n-1$ $n$ $n$ $1$

Odpowiedź jest taka, że dzieje się tak, ponieważ nie są niezależne. Z . Więc jeśli wiesz, z wówczas jest to ostatni pozostały jest całkowicie zdeterminowany; nie sumujemy niezależnych macierzy rangi- , sumujemy tylko $\z_i$ $\sum\z_i = 0$ $n-1$ $\z_i$ $\z_n$ $n$ $1$ $n-1$ niezależnych macierzy rangi , a następnie dodajemy jeszcze jedną macierz rangi , która jest całkowicie liniowo określona przez resztę. Ten ostatni dodatek nie zmienia ogólnej rangi. $1$ $1$

Możemy to zobaczyć bezpośrednio, jeśli przepisujemy jako a teraz podłączamy to do powyższego wyrażenia: $\sum\z_i = 0$

z_{n} = - \sum_{i = 1}^{n - 1} z_{i},

$\z_n = -\sum_{i=1}^{n-1}\z_i,$

Teraz jest tylko

\sum_{i = 1}^{n} z_{i} z_{i}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} z_{i}^{⊤} + (- \sum_{i = 1}^{n - 1} z_{i}) z_{n}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} (z_{i} - z_{n})^{⊤} .

$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$ $n-1$ w sumie pozostało warunków i staje się jasne, że cała suma może mieć najwyżej rangę . $n-1$

Nawiasem mówiąc, wynik ten wskazuje, dlaczego czynnik w bezstronnym estymatorze kowariancji wynosi $\frac{1}{n-1}$ a nie . $\frac{1}{n}$

$n-1$ $\bar \x$ jest równoważne centrowaniu w powyższym argumencie algebraicznym.

— ameba mówi Przywróć Monikę
źródło

Uważam, że nieco krótsze wyjaśnienie wygląda następująco:

$n$ $m$ $x$ $n$ $m$ jest liczbą próbek dla każdej zmiennej. Załóżmy, że żadna ze zmiennych nie jest zależna liniowo.

$x$ $min(n,m)$ .

$n$ $m$ $z$ zmiennych wyśrodkowanych rzędowo:

$z = x - E[x]$

$min(n,m-1)$ , ponieważ każdy wiersz danych podlega teraz ograniczeniom:

$\sum_{i=1}^{m}z_{*i} =0$ .

$z$ macierzy nawet jeśli jedna z kolumn jest usuwany.

$x$ staje się:

$cov(x,x) = \frac{1}{m-1}zz^T$

$rank(zz^T)$

$rank(zz^T) = rank(z) = min(n,m-1)$

— Mikel
źródło