Dlaczego macierz kowariancji próbki jest pojedyncza, gdy wielkość próby jest mniejsza niż liczba zmiennych?

30

Powiedzmy, że mam wymiarowy wielowymiarowy rozkład Gaussa. Biorę obserwacji (każdy z nich -vector), z tego rozkładu i obliczyć próbki kowariancji . W tym artykule autorzy stwierdzają, że macierz kowariancji próbki obliczona za pomocą jest pojedynczą. $p$ $n$ $p$ $S$ $p > n$

Jak to jest prawda lub pochodne?
Jakieś wyjaśnienia?

covariance-matrix linear-algebra

— użytkownik34790
źródło

4

Zauważ, że jest to prawda niezależnie od rozkładu podstawowego: nie musi być gaussowski.

— ameba mówi Przywróć Monikę

22

Niektóre fakty o szeregach macierzy, oferowane bez dowodu (ale dowody wszystkich lub prawie wszystkich z nich powinny być podane w standardowych tekstach algebry liniowej, lub w niektórych przypadkach ustawione jako ćwiczenia po podaniu wystarczającej ilości informacji, aby móc to zrobić):

Jeśli i są dwiema zgodnymi matrycami, to: $A$ $B$

(i) pozycja kolumny = pozycja rzędu $A$ $A$

(ii) $\text{rank}(A) = \text{rank}(A^T) = \text{rank}(A^TA) = \text{rank}(AA^T)$

(iii) $\text{rank}(AB)\leq \min(\text{rank}(A),\text{rank}(B))$

(iv) $\text{rank}(A+B) \leq \text{rank}(A) + \text{rank}(B)$

(v) jeśli $B$ jest kwadratową matrycą pełnego rzędu, to $\text{rank}(AB) = \text{rank}(A)$

Rozważmy macierz $n\times p$ przykładowych danych, $y$ . Z powyższego ranga $y$ wynosi co najwyżej $\min(n,p)$ .

Co więcej, z powyższego wyraźnie ranga nie będzie większa niż ranga (biorąc pod uwagę obliczenia w postaci macierzowej, z pewnymi uproszczeniami). $S$ $y$ $S$

Jeśli to w którym to przypadku . $n<p$ $\text{rank}(y)<p$ $\text{rank}(S)<p$

— Glen_b - Przywróć Monikę
źródło

niezła odpowiedź! Nie jest jednak do końca jasne, w jaki sposób y i S odnoszą się do A i B?

— Matifou

S oblicza się na podstawie y; („x” w oryginalnym poście). Możesz użyć faktów na temat yi wykonanych na nim manipulacji (zgodnie z powyższymi regułami), aby uzyskać rangę S. Role odgrywane przez A i B zmieniają się z kroku na krok.

— Glen_b

14

Krótka odpowiedź na twoje pytanie to ranga . Więc jeśli , to jest liczbą pojedynczą. $(S) \le n - 1$ $p > n$ $S$

Aby uzyskać bardziej szczegółową odpowiedź, przypomnij, że (obiektywną) macierz kowariancji próbki można zapisać jako

S = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T} .

$S = \frac{1}{n-1}\sum_{i=1}^n (x_i - \bar{x})(x_i - \bar{x})^T.$

W efekcie sumujemy macierzy, z których każda ma rangę 1. Zakładając, że obserwacje są liniowo niezależne, w pewnym sensie każda obserwacja przyczynia się do 1 do rangi , a 1 odejmuje się od rangi (jeśli ) ponieważ każdą obserwację skupiamy na . Jeśli jednak w obserwacjach występuje wielokoliniowość , wówczas ranga może zostać zmniejszona, co wyjaśnia, dlaczego ranga może być mniejsza niż . $n$ $x_i$ $(S)$ $p > n$ $\bar{x}$ $(S)$ $n - 1$

Dużo pracy poświęcono na zbadanie tego problemu. Na przykład, mój kolega i ja napisaliśmy artykuł na ten sam temat, w którym byliśmy zainteresowani ustaleniem, jak postępować, jeśli jest liczbą pojedynczą, gdy stosuje się ją do liniowej analizy dyskryminacyjnej w ustawieniu . $S$ $p \gg n$

— ramhiser
źródło

4

Czy możesz wyjaśnić, dlaczego odejmij 1, ponieważ każdą obserwację skupiamy na $\bar x$ ?

— awokado

@loganecolss: Zobacz, dlaczego ranga macierzy kowariancji wynosi co najwyżej ?

n - 1

$n−1$ po odpowiedź na twoje pytanie.

— ameba mówi Przywróć Monikę

Niezła odpowiedź! Może wystarczy dodać wyjaśnienie / link do faktu, że sumujemy macierze,, z których każda ma rangę 1 ? Dzięki!

— Matifou

10

Gdy spojrzysz na sytuację we właściwy sposób, wniosek jest intuicyjnie oczywisty i natychmiastowy.

Ten post oferuje dwie demonstracje. Pierwszy, bezpośrednio poniżej, jest słowny. Jest to odpowiednik prostego rysunku, który pojawia się na samym końcu. Między nimi znajduje się wyjaśnienie znaczenia słów i rysunku.

Macierz kowariancji -variate obserwacji jest matrycy obliczana przez pomnożenie lewej matrycy (z wyśrodkowany dane) przez jego transpozycji . Ten iloczyn macierzy wysyła wektory przez potok przestrzeni wektorowych, w których wymiarami są i . W konsekwencji macierz kowariancji, qua linearna transformacja, wyśle do podprzestrzeni, której wymiar wynosi co najwyżej . Natychmiastowe jest, że ranga macierzy kowariancji nie jest większa niż . W konsekwencji, jeśli $n$ $p$ $p\times p$ $\mathbb{X}_{np}$ $\mathbb{X}_{pn}^\prime$ $p$ $n$ $\mathbb{R}^n$ $\min(p,n)$ $\min(p,n)$ $p\gt n$ wtedy ranga jest co najwyżej , co - będąc ściśle mniejszą niż oznacza, że macierz kowariancji jest liczbą pojedynczą. $n$ $p$

Cała ta terminologia została w pełni wyjaśniona w dalszej części tego postu.

(Jak Amoeba uprzejmie zauważył w usuniętym komentarzu i pokazuje w odpowiedzi na powiązane pytanie , obraz faktycznie znajduje się w podprzestrzeni o jednym kodzie wymiaru (składający się z wektorów, których komponenty sumują się na zero), ponieważ wszystkie jego kolumny zostały ostatnio wyzerowane. Dlatego ranga przykładowej macierzy kowariancji nie może przekraczać ) $\mathbb X$ $\mathbb{R}^n$ $\frac{1}{n-1}\mathbb{X}^\prime \mathbb{X}$ $n-1$

Algebra liniowa polega na śledzeniu wymiarów przestrzeni wektorowych. Musisz docenić tylko kilka podstawowych pojęć, aby mieć głęboką intuicję w zapewnianiu o randze i osobliwości:

Mnożenie macierzy reprezentuje transformacje liniowe wektorów. An matrycy oznacza liniową transformację z -wymiarowej przestrzeni An -wymiarowej przestrzeni . W szczególności wysyła dowolne do . To, że jest to transformacja liniowa, wynika bezpośrednio z definicji transformacji liniowej i podstawowych właściwości arytmetycznych mnożenia macierzy. $m\times n$ $\mathbb{M}$ $n$ $V^n$ $m$ $V^m$ $x\in V^n$ $\mathbb{M}x = y \in V^m$
Transformacje liniowe nigdy nie mogą zwiększać wymiarów. Oznacza to, że obraz całej przestrzeni wektorowej pod transformacją (która jest przestrzenią ) może mieć wymiar nie większy niż . Jest to (łatwe) twierdzenie wynikające z definicji wymiaru. $V^n$ $\mathbb M$ $V^m$ $n$
Wymiar dowolnej przestrzeni subwektorowej nie może przekraczać wymiaru przestrzeni, w której się ona znajduje. To jest twierdzenie, ale znowu jest oczywiste i łatwe do udowodnienia.
Ranga od transformacji liniowej jest wymiarem jego wizerunku. Ranga macierzy to ranga reprezentowanej przez nią transformacji liniowej. To są definicje.
Pojedynczej matrycy ma stopień mniejszy od $\mathbb{M}_{mn}$ $n$ (wymiar jego domeny). Innymi słowy, jego obraz ma mniejszy wymiar. To jest definicja.

Aby rozwinąć intuicję, pomaga zobaczyć wymiary. Dlatego napiszę wymiary wszystkich wektorów i macierzy natychmiast po nich, jak w i . Zatem ogólna formuła $\mathbb{M}_{mn}$ $x_n$

y_{m} = M_{m n} x_{n}

$y_m = \mathbb{M}_{mn} x_n$

ma oznaczać, że macierz , zastosowana do wektora , daje wektor . $m\times n$ $\mathbb M$ $n$ $x$ $m$ $y$

Produkty macierzy można traktować jako „potok” przekształceń liniowych. Ogólnie, załóżmy jest wymiarową wektor otrzymany z kolejnych zastosowań liniowego przekształceń i do wektor pochodzący z przestrzeni . To prowadzi wektor kolejno przez zestaw przestrzeni wektorowych o wymiarach a na końcu . $y_a$ $a$ $\mathbb{M}_{mn}, \mathbb{L}_{lm}, \ldots, \mathbb{B}_{bc},$ $\mathbb{A}_{ab}$ $n$ $x_n$ $V^n$ $x_n$ $m, l, \ldots, c, b,$ $a$

Poszukaj wąskiego gardła : ponieważ wymiary nie mogą wzrosnąć (punkt 2), a podprzestrzenie nie mogą mieć wymiarów większych niż przestrzenie, w których się znajdują (punkt 3), wynika z tego, że wymiar obrazu nie może przekraczać najmniejszego wymiaru napotkane w potoku. $V^n$ $\min(a,b,c,\ldots,l,m,n)$

Ten diagram potoku w pełni potwierdza wynik, gdy zostanie zastosowany do produktu : $\mathbb{X}^\prime \mathbb{X}$

— Whuber
źródło