Czy PCA jest nadal wykonywane przez składową macierz kowariancji, gdy wymiarowość jest większa niż liczba obserwacji?

Mam macierz , zawierającą moje próbek w przestrzeni wymiarowej . Chcę teraz zakodować własną analizę głównych składników (PCA) w Matlabie. I poniżać do pierwszy. $20\times100$ $X$ $N=20$ $D=100$ $X$ $X_0$

Czytam z czyjegoś kodu, że w takich scenariuszach, w których mamy więcej wymiarów niż obserwacji, nie rozkładamy już macierzy kowariancji . Zamiast tego eigen-decompose . Dlaczego to jest poprawne? $X_0$ $\frac{1}{N-1}X_0X_0^T$

Normalna macierz kowariancji ma rozmiar , z których każdy element mówi nam o kowariancji między dwoma wymiarami. Dla mnie nie ma nawet właściwych wymiarów! Jest to macierz , więc co by nam powiedziała? Kowariancja między dwiema obserwacjami ?! $D\times D$ $\frac{1}{N-1}X_0X_0^T$ $N\times N$

pca

— Hazard Sibbs
źródło

Odpowiedź na twoje pytanie jest taka, że - jak wynika z postawienia zadania - nie potrzebujesz dla siebie macierzy kowariancji kolumn. Chciałeś tylko, aby była to droga do uzyskania komputerów. Dobrze? Ale te same wyniki PCA można uzyskać poprzez własne X'Xi XX'(a także svd z Xi X'). To, co nazywa się „ładowaniami” w jednym przypadku, w drugim nazywa się „wynikami na PC” i odwrotnie. Ponieważ oba są tylko współrzędnymi ( patrz na przykład ) i osiami, „główne wymiary” są takie same.

— ttnphns

(cd.) Jeśli tak, a ty masz swobodę wyboru, który rozkład - rozsądnie jest rozłożyć rozkład, który ma być wykonywany szybciej / wydajniej. Gdy n<pzajmuje mniej pamięci RAM i mniej czasu na rozkład, XX'ponieważ ma mniejszy rozmiar.

— ttnphns

@ttnphns Świetne wyjaśnienie. Teraz rozumiem o co chodzi. Nadal jednak mam problemy z przejściem XX'na PC. Czy mógłbyś bardzo krótko pokazać mi, jak? Biorąc pod uwagę, że komputery PC są jedynie wektorami własnymi macierzy kowariancji, próbowałem przejść z własnego XX'do macierzy kowariancji X'X, ale zawiodłem.

— Sibbs Hazard

Muszę iść. Być może @amoeba (który jest znacznie bardziej zwinny w algebrze niż ja) lub inny czytelnik wkrótce tu zajrzy i ci pomoże. Twoje zdrowie.

— ttnphns

@ttnphns: Gotowe :)

— ameba

Macierz kowariancji ma rozmiar i jest dana przez $D\times D$

do = \frac{1}{N. - 1} X_{0}^{⊤} X_{0}^{} .

$\mathbf C = \frac{1}{N-1}\mathbf X_0^\top \mathbf X^\phantom\top_0.$

Macierz, o której mówisz, oczywiście nie jest macierzą kowariancji; nazywa się to macierzą Gram i ma rozmiar : $N\times N$

sol = \frac{1}{N. - 1} X_{0}^{} X_{0}^{⊤} .

$\mathbf G = \frac{1}{N-1}\mathbf X^\phantom\top_0 \mathbf X_0^\top.$

Analiza głównego składnika (PCA) może być zaimplementowana poprzez składanie dowolnej z tych matryc. To tylko dwa różne sposoby obliczenia tego samego.

Najłatwiejszym i najbardziej użytecznym sposobem na sprawdzenie tego jest użycie rozkładu wartości w liczbie pojedynczej macierzy danych . Włączając to do wyrażeń dla i , otrzymujemy: $\mathbf X = \mathbf {USV}^\top$ $\mathbf C$ $\mathbf G$

\begin{aligned} C & = V \frac{S^{2}}{N - 1} V^{⊤} \\ G & = U \frac{S^{2}}{N - 1} U^{⊤} . \end{aligned}

$\begin{align}\mathbf C&=\mathbf V\frac{\mathbf S^2}{N-1}\mathbf V^\top\\\mathbf G&=\mathbf U\frac{\mathbf S^2}{N-1}\mathbf U^\top.\end{align}$

Wektory własne macierzy kowariancji są głównymi kierunkami. Prognozy danych o tych wektorach własnych są głównymi składnikami; Występy te są podane . Podstawowe elementy przeskalowany jednostkę długości są podane . Jak widać, wektory własne macierzy Gram są dokładnie tymi skalowanymi głównymi składnikami. A wartości własne i pokrywają się. $\mathbf V$ $\mathbf {US}$ $\mathbf U$ $\mathbf C$ $\mathbf G$

Powodem, dla którego możesz zobaczyć, że zaleca się stosowanie macierzy Gram, jeśli jest to, że będzie ona mniejszego rozmiaru w porównaniu do macierzy kowariancji, a zatem będzie szybsza do obliczenia i szybsza do skomponowania. W rzeczywistości, jeśli twoja wymiarowość jest zbyt wysoka, nie ma sposobu, abyś nawet przechował macierz kowariancji w pamięci, więc działanie na macierzy Grama jest jedynym sposobem na wykonanie PCA. Ale do opanowania ty może nadal korzystać eigendecomposition macierzy kowariancji jeśli wolisz nawet jeśli . $N<D$ $D$ $D$ $N<D$

Zobacz także: Związek między wektorami własnymi i $\frac{1}{N}XX^\top$ w kontekście PCA $\frac{1}{N}X^\top X$

— ameba
źródło

Świetna odpowiedź! Nie wiedziałem, że ma nazwę! Wielkie dzięki! Teraz jestem pewien, że użyję go do przyspieszenia obliczeń.

— Sibbs Hazard

U

$U$

S / (n - 1)

$S/(n-1)$

V

$V$

U^{⊤} X

$U^\top X$

U

$U$

Ta odpowiedź jest jaśniejsza niż wiele ekspozycji, które widziałem w książkach. Dzięki.

— usεr11852

Dla celów czysto referencyjnych: Myślę, że dokument Technometrics z 1969 r. IJ Gooda „ Some Applications of the Singular Decomposition of a Matrix ” jest jednym z pierwszych, który pierwszy w pełni go odwołuje.

— usεr11852

@MattWenham Dokładnie.

— ameba