Czy komponenty PCA wielowymiarowych danych Gaussa są statystycznie niezależne?

Czy komponenty PCA (w analizie głównych komponentów) są statystycznie niezależne, jeśli nasze dane są zwykle dystrybuowane na wielu odmianach? Jeśli tak, jak można to wykazać / udowodnić?

Pytam, ponieważ widziałem ten post , w którym pierwsza odpowiedź brzmi:

PCA nie przyjmuje wyraźnego założenia Gaussa. Znajduje wektory własne, które maksymalizują wariancję wyjaśnioną w danych. Ortogonalność głównych składników oznacza, że wyszukuje najbardziej nieskorelowane składniki w celu wyjaśnienia możliwie największej zmienności danych. W przypadku wielowymiarowych rozkładów gaussowskich zerowa korelacja między składnikami oznacza niezależność, co nie jest prawdą w przypadku większości rozkładów.

Odpowiedź jest podana bez dowodu i wydaje się sugerować, że PCA produkuje niezależne komponenty, jeśli dane są wielowymiarowe normalne.

Powiedzmy, że nasze dane są próbkami z:

x \sim N (μ, Σ)

$\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})$

umieszczamy $n$ próbek $\mathbf{x}$ w rzędach naszej macierzy próbek $\mathbf{X}$ , więc $\mathbf{X}$ to $n \times m$ . Obliczenie SVD dla $\mathbf{X}$ (po wyśrodkowaniu) daje

X = {U S V}^{T}

$\mathbf{X} = \mathbf{USV}^{T}$

Czy możemy powiedzieć, że kolumny $\mathbf{U}$ są statystycznie niezależne, a także rzędy $\mathbf{V}^T$ ? Czy jest to ogólnie prawdą, tylko dla $\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})$ , czy w ogóle nie jest prawdą?

pca independence svd

— bill_e
źródło

stats.stackexchange.com/q/110508/3277 to podobne pytanie.

— ttnphns

Nie rozumiem, w jaki sposób komputery można by uznać za „statystycznie niezależne” w więcej niż jednym wymiarze. W końcu z definicji każdy jest prostopadły do wszystkich pozostałych; ta zależność funkcjonalna tworzy bardzo silną zależność statystyczną.

— whuber

@amoeba Mam nadzieję, że konsekwentnie jasne jak wierny na pytanie, co mam wybrać, aby być jasno określone i jednoznaczne: ponieważ dane

są przypadkowe, więc są wszystkie wpisy w

. Zastosowałem do nich definicję statystycznej niezależności. To wszystko. Twoim problemem wydaje się być to, że używasz słowa „nieskorelowane” w dwóch bardzo różnych zmysłach, nie zdając sobie z tego sprawy: na podstawie tego, jak zbudowane są kolumny

są one geometrycznie ortogonalne jak wektory w , ale nie są oznacza niezależne losowe wektory!

X

$X$

U

$U$

U

$U$ $\mathbb{R}^n$

— whuber

@amoeba Masz rację - symulacja dość przekonująco pokazuje, że korelacja może być (silnie) niezerowa. Nie kwestionuję jednak tego, że „komponenty PCA są nieskorelowane” w sensie „korelacja” = „ortogonalny”, ani też nie twierdzę, że jakikolwiek konkretny podręcznik jest niepoprawny. Obawiam się, że takie stwierdzenie, właściwie zrozumiane, jest tak nieistotne dla pytania, że wszystko, co może zrobić (i uczyniło), powoduje znaczne zamieszanie w obecnym kontekście.

— whuber

@ Whuber, jestem pewien, że czekałeś na kolejną edycję mojej odpowiedzi! Oto jest. Wyraźnie potwierdzam twoje uwagi na temat zależności i stwierdzam, że kolumny

są asymptotycznie niezależne, jako mój główny punkt. Tutaj „asymptotycznie” odnosi się do liczby

obserwacji (wierszy). Mam wielką nadzieję, że będziemy w stanie się z tym zgodzić! Argumentuję również, że dla każdego rozsądnego

, takiego jak

, zależność między kolumnami jest „praktycznie nieistotna”. Wydaje mi się, że jest to kwestia bardziej kontrowersyjna, ale w mojej odpowiedzi staram się to uczynić dość precyzyjną.

U

$U$

n

$n$

n

$n$

n = 100

$n=100$

— ameba mówi Przywróć Monikę

Zacznę od intuicyjnej demonstracji.

Wygenerowałem obserwacji (a) z silnie nie Gaussowskiego rozkładu 2D i (b) z 2D rozkładu Gaussa. W obu przypadkach wyśrodkowałem dane i rozkład wartości w liczbie pojedynczej . Następnie dla każdego przypadku wykonałem wykres rozproszenia pierwszych dwóch kolumn , jedna względem drugiej. Należy pamiętać, że jest to zwykle kolumny , które są nazywane „główne składniki” (PC); kolumny są komputerami skalowanymi w celu uzyskania normy jednostkowej; Nadal, w tej odpowiedzi skupię się na kolumnach . Oto wykresy rozrzutu: $n=100$ $\mathbf X=\mathbf{USV}^\top$ $\mathbf U$ $\mathbf{US}$ $\mathbf U$ $\mathbf U$

PCA of Gaussian and non-Gaussian data

Myślę, że takie stwierdzenia, jak: „Składniki PCA są nieskorelowane” lub „Składniki PCA są zależne / niezależne” są zwykle tworzone o jednej konkretnej macierzy próbki i odnoszą się do korelacji / zależności między wierszami (patrz np . Odpowiedź @ ttnphns tutaj ). PCA daje transformowaną macierz danych , gdzie wiersze są obserwacjami, a kolumny zmiennymi PC. Tj. Możemy zobaczyć jako próbkę i zapytać, jaka jest próbka korelacji między zmiennymi PC. Ta przykładowa macierz korelacji jest oczywiście podana przez $\mathbf X$ $\mathbf U$ $\mathbf U$ $\mathbf U^\top \mathbf U=\mathbf I$ , co oznacza, że przykładowe korelacje między zmiennymi PC są zerowe. To ludzie mają na myśli, mówiąc, że „PCA diagonalizuje macierz kowariancji” itp.

Wniosek 1: we współrzędnych PCA dowolne dane mają zerową korelację.

Dotyczy to obu powyższych wykresów rozrzutu. Jednakże, jest oczywiste, że te dwie zmienne PC i w lewym (nie Gaussa) rozrzutu nie są niezależne; chociaż mają zerową korelację, są silnie zależne i w rzeczywistości powiązane przez . I rzeczywiście wiadomo, że nieskorelowane nie oznacza niezależności $x$ $y$ $y\approx a(x-b)^2$ .

Przeciwnie, dwie zmienne PC i $x$ $y$ po prawej stronie (Gaussa) rozrzutu wydają się być „prawie niezależny”. Obliczenie wzajemnej informacji między nimi (co jest miarą zależności statystycznej: zmienne niezależne mają zerową informację wzajemną) za pomocą dowolnego standardowego algorytmu da wartość bardzo zbliżoną do zera. Nie będzie dokładnie zero, ponieważ nigdy nie jest dokładnie zerowy dla dowolnej skończonej wielkości próbki (chyba że jest dokładnie dostrojony); ponadto istnieją różne metody obliczania wzajemnej informacji o dwóch próbkach, dające nieco inne odpowiedzi. Możemy jednak oczekiwać, że każda metoda da oszacowanie wzajemnej informacji, które jest bardzo bliskie zeru.

Wniosek 2: we współrzędnych PCA dane Gaussa są „prawie niezależne”, co oznacza, że standardowe szacunki zależności będą w przybliżeniu równe zeru.

Pytanie to jest jednak trudniejsze, na co wskazuje długi łańcuch komentarzy. Rzeczywiście, @whuber prawidłowo wskazuje, że PCA zmiennych i (kolumny ) musi być statystycznie zależne: słupy muszą być o długości jednostkowej i muszą być prostopadłe i wprowadza to zależność. Np. Jeśli jakaś wartość w pierwszej kolumnie jest równa , to odpowiednia wartość w drugiej kolumnie musi wynosić . $x$ $y$ $\mathbf U$ $1$ $0$

To prawda, ale jest to praktycznie istotne tylko dla bardzo małych , takich jak np. (przy po centrowaniu jest tylko jeden komputer). Dla każdej rozsądnej wielkości próbki, takiej jak pokazanej na mojej powyższej ilustracji, efekt zależności będzie znikomy; kolumny są (skalowanymi) rzutami danych Gaussa, więc są one również gaussowskie, co praktycznie uniemożliwia, aby jedna wartość była bliska (wymagałoby to, aby wszystkie inne elementy były bliskie $n$ $n=3$ $n=2$ $n=100$ $\mathbf U$ $1$ $n-1$ $0$ , co nie jest trudne rozkład Gaussa).

Wniosek 3: ściśle mówiąc, dla każdego skończonego dane Gaussa we współrzędnych PCA są zależne; jednak ta zależność jest praktycznie nieistotna dla żadnego . $n$ $n\gg 1$

Możemy to sprecyzować, biorąc pod uwagę, co dzieje się w granicy . W granicy nieskończonej wielkości próbki macierz kowariancji próbki jest równa macierzy kowariancji populacji . Tak więc, jeśli wektor danych jest próbkowany z , a następnie zmienne komputerowe są (gdzie i $n \to \infty$ $\mathbf \Sigma$ $X$ $\vec X \sim \mathcal N(0,\boldsymbol \Sigma)$ $\vec Y = \Lambda^{-1/2}V^\top \vec X/(n-1)$ $\Lambda$ $V$ są wartościami własnymi i wektorami własnymi ) i . Tzn. Zmienne PC pochodzą z wielowymiarowego Gaussa z kowariancją ukośną. Ale każdy wielowymiarowy Gaussa z ukośną macierzą kowariancji rozkłada się na iloczyn jednowymiarowego Gaussa, a to jest definicja statystycznej niezależności : $\boldsymbol \Sigma$ $\vec Y \sim \mathcal N(0, \mathbf I/(n-1))$

\begin{aligned} N (0, d i a g (σ_{i}^{2})) & = \frac{1}{(2 π)^{k / 2} det (d i a g (σ_{i}^{2}))^{1 / 2}} \exp [- x^{⊤} d i a g (σ_{i}^{2}) x / 2] \\ = \frac{1}{(2 π)^{k / 2} (\prod_{i = 1}^{k} σ_{i}^{2})^{1 / 2}} \exp [- \sum_{i = 1}^{k} σ_{i}^{2} x_{i}^{2} / 2] \\ = \prod \frac{1}{(2 π)^{1 / 2} σ_{i}} \exp [- σ_{i}^{2} x_{i}^{2} / 2] \\ = \prod N (0, σ_{i}^{2}) . \end{aligned}

$\begin{align} \mathcal N(\mathbf 0,\mathrm{diag}(\sigma^2_i)) &= \frac{1}{(2\pi)^{k/2} \det(\mathrm{diag}(\sigma^2_i))^{1/2}} \exp\left[-\mathbf x^\top \mathrm{diag}(\sigma^2_i) \mathbf x/2\right]\\&=\frac{1}{(2\pi)^{k/2} (\prod_{i=1}^k \sigma_i^2)^{1/2}} \exp\left[-\sum_{i=1}^k \sigma^2_i x_i^2/2\right] \\&=\prod\frac{1}{(2\pi)^{1/2}\sigma_i} \exp\left[-\sigma_i^2 x^2_i/2\right] \\&= \prod \mathcal N(0,\sigma^2_i). \end{align}$

Wniosek 4: asymptotycznie ( ) zmienne PC danych gaussowskich są statystycznie niezależne jako zmienne losowe, a wzajemne informacje o próbce dadzą zerową wartość populacji. $n \to \infty$

Powinienem zauważyć, że można inaczej zrozumieć to pytanie (patrz komentarze @whuber): aby uznać całą macierz za zmienną losową (uzyskaną z losowej macierzy za pomocą określonej operacji) i zapytać, czy są jakieś dwa określone elementy and z dwóch różnych kolumn są statystycznie niezależne w różnych czerpie z . Zbadaliśmy to pytanie w $\mathbf U$ $\mathbf X$ $U_{ij}$ $U_{kl}$ $\mathbf X$ późniejszym wątku .

Oto wszystkie cztery wstępne wnioski z powyższego:

We współrzędnych PCA wszystkie dane mają zerową korelację.
We współrzędnych PCA dane Gaussa są „prawie niezależne”, co oznacza, że standardowe szacunki zależności będą wynosić około zera.
$n$ $n\gg 1$
$n \to \infty$

— ameba mówi Przywróć Monikę
źródło

Piszesz „Jeśli jednak dane są wielowymiarowe Gaussa, to są one rzeczywiście niezależne”. „Oni” są głównymi składnikami i ich współczynnikami? Co rozumiesz przez PCA diagonalizujący macierz kowariancji? Dziękuję za odpowiedź!

— bill_e

„Oni” odnoszą się do głównych składników (które są rzutami danych na kierunki maksymalnej wariancji). PCA szuka kierunków maksymalnej wariancji; okazuje się, że kierunki te podane są przez wektory własne macierzy kowariancji. Jeśli zmienisz współrzędne na „współrzędne PCA”, wówczas macierz kowariancji będzie ukośna, tak działa skład eigend. Odpowiednio macierz

S

$S$ w SVD z twojego pytania jest macierz diagonalna. Również matryca

U

$U$ is orthogonal, meaning that its covariance matrix is diagonal. All of that means that PCs have correlation zero.

— amoeba says Reinstate Monica

Cool, thank you! The combination of your answer and this comment helps clear things up for me a lot. Can I edit your comment into your answer?

— bill_e

I expanded the answer by incorporating the comment; see if you are happy with it now.

— amoeba says Reinstate Monica

Interesting discussion! When I asked the question, my thought of statistical dependence was "if you know PC1, is it possible infer PC2?, etc." I will look more into independence tests based on mutual information now.

— bill_e