Jak analiza czynnikowa wyjaśnia kowariancję, podczas gdy PCA wyjaśnia wariancję?

Oto cytat z książki Bishopa „Rozpoznawanie wzorców i uczenie maszynowe”, rozdział 12.2.4 „Analiza czynnikowa”:

Według wyróżnionej części analizy czynnika oddaje kowariancji pomiędzy zmiennymi w macierzy $W$ . Zastanawiam się JAK ?

Oto jak to rozumiem. Powiedzmy, że $x$ to obserwowana zmienna $p$ wymiarowa, $W$ to macierz obciążenia czynnikowego, a $z$ to wektor wyniku czynnikowego. Następnie mamy

$$x=\mu+Wz+\epsilon,$$ czyli $$\begin{align*} \begin{pmatrix} x_1\\ \vdots\\ x_p \end{pmatrix} = \begin{pmatrix} \mu_1\\ \vdots\\ \mu_p \end{pmatrix} + \begin{pmatrix} \vert & & \vert\\ w_1 & \ldots & w_m\\ \vert & & \vert \end{pmatrix} \begin{pmatrix} z_1\\ \vdots\\ z_m \end{pmatrix} +\epsilon, \end{align*}$$ a każda kolumna w$W$jest wektorem obciążenia czynnikowego $$w_i=\begin{pmatrix}w_{i1}\\ \vdots\\ w_{ip}\end{pmatrix}.$$ Tutaj, jak napisałem,$W$ma$m$kolumn, co oznacza, żerozważanychjest$m$czynników.

Teraz tutaj jest punkt, w zależności od podświetlonej części, myślę, że obciążenia w każdej kolumnie $w_i$ wyjaśnić kowariancji w obserwowanych danych, prawda?

Na przykład, spójrzmy na pierwszy wektor obciążenia , dla 1 ≤ i , j , k ≤ p , jeśli w 1 i = 10 , w 1 j = 11 i w 1 k = 0,1 , to powiedziałbym x i i x j są silnie skorelowane, podczas gdy x k wydaje nieskorelowane ze sobą , mam rację?$w_1$$1\le i,j,k\le p$$w_{1i}=10$$w_{1j}=11$$w_{1k}=0.1$$x_i$$x_j$$x_k$

A jeśli w ten sposób analiza czynnikowa wyjaśnia kowariancję między obserwowanymi cechami, to powiedziałbym, że PCA wyjaśnia również kowariancję, prawda?

Rozróżnienie między analizą głównych składników a analizą czynnikową zostało omówione w licznych podręcznikach i artykułach na temat technik wielowymiarowych. Możesz znaleźć pełny wątek , nowszy i dziwne odpowiedzi, również na tej stronie.

Nie zamierzam tego szczegółowo robić. Udzieliłem już zwięzłej i dłuższej odpowiedzi i chciałbym teraz wyjaśnić ją za pomocą pary zdjęć.

Reprezentacja graficzna

Poniższy obrazek wyjaśnia PCA . (Zostało to zapożyczone stąd, gdzie PCA porównuje się z regresją liniową i korelacjami kanonicznymi. Obraz jest reprezentacją wektorową zmiennych w przestrzeni tematycznej ; aby zrozumieć, co to jest, możesz chcieć przeczytać tam drugi akapit).

$P_1$$P_2$ $X_1$$X_2$$X_1$$X_2$$cov_{12}= |X_1||X_2|r$$r$ równa się cosinus kąta między ich wektorami.

$a$

$P_1$$P_2$$a_{11}^2+a_{21}^2= |P_1|^2$$P_1$

---

$X_1$$X_2$

$F$$P_1$

$P_1$

$F$

$P_1$$F$

$a$$a_{1}^2+a_{2}^2= |F|^2$$F$

$F$$F$$X_1$$F$$X_2$$X_1$$F$$U_1$$X_2$$F$$U_2$$U_1$$U_2$$F$$U$$U_1$$X_1$$U_2$$X_2$$X_1$$X_2$$F$$X_1$$X_2$$cov_{12}>0$$cov_{12}$$a$

$u^2$ $a^2$$F$-wymiarowe, gdzie wspólnoty są rzutami zmiennych na przestrzeń, a obciążenia są zmiennymi, a także rzutami tych rzutów na czynniki, które obejmują przestrzeń. Wariancja wyjaśniona w analizie czynnikowej to wariancja w obrębie przestrzeni wspólnych czynników, inna niż przestrzeń zmiennych, w której składniki wyjaśniają wariancję. Przestrzeń zmiennych znajduje się w brzuchu połączonej przestrzeni: m wspólne + p unikalne czynniki.

$X_1$$X_2$$X_3$$F_1$$F_2$$X_1$$C_1$$U_1$$X_1$$X_1$$X_2$$X_3$$^1$

$cov_{12} \approx a_1a_2$poszczególne kowariancje za pomocą obciążeń. W modelu PCA tak nie jest, ponieważ PCA wyjaśnia nierozłożoną, mieszaną współliniową + ortogonalną natywną wariancję. Zarówno mocne składniki, które zachowujesz, jak i te, które upuszczasz, są połączeniami części (A) i (B); w związku z tym PCA może wykorzystywać swoje ładunki kowariancji tylko ślepo i rażąco.

---

Lista kontrastowa PCA vs FA

• PCA: działa w przestrzeni zmiennych. FA: transkrybuje przestrzeń zmiennych.
• PCA: przyjmuje zmienność taką, jaka jest. FA: zmienność segmentów na części wspólne i unikalne.
• PCA: wyjaśnia wariancję niesegmentowaną, tj. Ślad macierzy kowariancji. FA: wyjaśnia tylko powszechną wariancję, stąd wyjaśnia (przywraca przez ładunki) korelacje / kowariancje, nieprzekątne elementy macierzy. (PCA wyjaśnia również elementy o przekątnej - ale mimochodem, po prostu - po prostu dlatego, że wariancje są dzielone w formie kowariancji).
• PCA: komponenty są teoretycznie liniowymi funkcjami zmiennych, zmienne są teoretycznie liniowymi funkcjami komponentów. FA: zmienne są tylko teoretycznie liniowymi funkcjami czynników.
• PCA: empiryczna metoda podsumowania; to zachowuje m składników. FA: teoretyczna metoda modelowania ; że pasuje ustaloną ilość m czynniki do danych; FA można przetestować (potwierdzenie FA).
• PCA: jest najprostszym metrycznym MDS , ma na celu zmniejszenie wymiarów przy jednoczesnym pośrednim zachowaniu odległości między punktami danych, jak to możliwe. FA: Czynniki są podstawowymi ukrytymi cechami za zmiennymi, które zmuszają je do korelacji; analiza ma na celu ograniczenie danych tylko do tych esencji.
• PCA: rotacja / interpretacja komponentów - czasami (PCA nie jest wystarczająco realistyczna jako model cech ukrytych). FA: rotacja / interpretacja czynników - rutynowo.
• PCA: tylko metoda redukcji danych. FA: także metoda znajdowania klastrów spójnych zmiennych (dzieje się tak, ponieważ zmienne nie mogą korelować poza czynnikiem).
• PCA: ładunki i wyniki są niezależne od liczby m „wydobytych” komponentów. FA: ładunki i wyniki zależą od liczby m czynników „wydobytych”.
• PCA: wyniki składników są dokładnymi wartościami składników. FA: wyniki czynników są przybliżone do rzeczywistych wartości czynników i istnieje kilka metod obliczeniowych . Oceny czynnikowe leżą w przestrzeni zmiennych (podobnie jak komponenty), podczas gdy czynniki rzeczywiste (zawarte w ładunkach czynnikowych) nie.
• PCA: zwykle żadnych założeń. FA: założenie słabych korelacji cząstkowych; czasami założenie normalności na wielu odmianach; niektóre zestawy danych mogą być „złe” do analizy, chyba że zostaną przekształcone.
• PCA: algorytm niepiśmienny; zawsze udane. FA: algorytm iteracyjny (zazwyczaj); czasami problem braku konwergencji; osobliwość może stanowić problem.

---

$^1$ $X_2$$X_3$$U_1$$X_1$$X_1$$X_2$$X_3$$U_1$$X_1$$X_2$$U$$U$

Podobnie jak w regresji współczynniki są współrzędnymi predyktorów zarówno zmiennych zależnych (zmiennych), jak i predykcji (prognoz) ( patrz rysunek w części „Regresja wielokrotna” i tutaj również), w FAładunki są współrzędnymi, zależnymi od czynników, zarówno obserwowanych zmiennych, jak i ich utajonych części - wspólnot. I dokładnie tak, jak w regresji, fakt ten nie spowodował, że zależne i predyktory stały się wzajemnymi podprzestrzeniami, - w FA podobny fakt nie powoduje, że obserwowane zmienne i czynniki utajone są wzajemnymi podprzestrzeniami. Czynnikiem jest „obcy” zmiennej w dość podobnym znaczeniu, ponieważ predyktor jest „obcy” reakcji zależnej. Ale w PCA jest inaczej: główne składniki pochodzą z obserwowanych zmiennych i są ograniczone do ich przestrzeni.

Powtórzmy więc jeszcze raz: m wspólne czynniki FA nie są podprzestrzenią zmiennych wejściowych p . Przeciwnie: zmienne tworzą podprzestrzeń w hiperprzestrzeni unii m + p ( m wspólne czynniki + p unikalne czynniki). Patrząc z tej perspektywy (tj. Przy przyciągniętych również unikalnych czynnikach) staje się jasne, że klasyczny FA nie jest techniką kurczenia się wymiarów , jak klasyczny PCA, ale jest techniką rozszerzania wymiarów . Niemniej jednak zwracamy uwagę tylko na niewielką ( m wymiarową wspólną) część tego wzdęcia, ponieważ ta część wyjaśnia wyłącznie korelacje.

„Wyjaśnienie kowariancji” a wyjaśnienie wariancji

Bishop w rzeczywistości oznacza bardzo prostą rzecz. W modelu analizy czynnikowej (równ. 12.64) macierz kowariancji będzie (równ. 12.65)To właśnie robi analiza czynnikowa : znajduje macierz ładunków i diagonalną macierz unikatowości, tak że faktycznie zaobserwowana macierz kowariancji jest jak najlepiej przybliżona przez :Zauważ, że ukośne elementy

$$p(\mathbf x|\mathbf z) = \mathcal N(\mathbf x | \mathbf W \mathbf z + \boldsymbol \mu, \boldsymbol \Psi)$$ $\mathbf x$ $$\mathbf C = \mathbf W \mathbf W^\top + \boldsymbol \Psi.$$ $\boldsymbol \Sigma$$\mathbf C$ $$\boldsymbol \Sigma \approx \mathbf W \mathbf W^\top + \boldsymbol \Psi.$$ $\mathbf C$ będzie dokładnie równy elementom przekątnym ponieważ zawsze możemy wybrać macierz diagonalną tak, aby błąd rekonstrukcji na przekątnej wynosił zero. Prawdziwym wyzwaniem jest następnie znaleźć obciążenia , które działają dobrze w przybliżeniu w niediagonalnych część o .$\boldsymbol \Sigma$$\boldsymbol \Psi$$\mathbf W$$\boldsymbol \Sigma$

Nieprzekątna część składa się z kowariancji między zmiennymi; stąd twierdzenie Bishopa, że ​​ładunki czynnikowe uwzględniają kowariancje. Ważne jest to, że trochę tu ładunki czynnikowe nie dbają w ogóle o indywidualnych wariancji (przekątna ).$\boldsymbol \Sigma$$\boldsymbol \Sigma$

Natomiast PCA są wektorami własnymi macierzy kowariancji skalowanymi według pierwiastków kwadratowych ich wartości własnych. Jeśli wybrano tylko głównych komponentów, to co oznacza, że PCA próbują odtworzyć całą macierz kowariancji (i nie tylko jego część po przekątnej jako FA). Jest to główna różnica między PCA i FA.$\widetilde {\mathbf W}$$\boldsymbol \Sigma$$m<k$

$$\boldsymbol \Sigma \approx \widetilde{\mathbf W} \widetilde{\mathbf W}^\top,$$

---

Dalsze komentarze

Uwielbiam rysunki w odpowiedzi @ ttnphns (+1), ale chciałbym podkreślić, że dotyczą one bardzo szczególnej sytuacji dwóch zmiennych. Jeśli rozważane są tylko dwie zmienne, macierz kowariancji wynosi , ma tylko jeden element o przekątnej, a więc zawsze jeden czynnik wystarcza do odtworzenia go w 100% (podczas gdy PCA potrzebuje dwóch składników). Jednak ogólnie, jeśli istnieje wiele zmiennych (powiedzmy kilkanaście lub więcej), to ani PCA, ani FA z małą liczbą składników nie będą w stanie w pełni odtworzyć macierzy kowariancji; co więcej, zwykle (choć niekoniecznie!) przyniosą podobne wyniki. Zobacz moją odpowiedź tutaj dla niektórych symulacji wspierających to twierdzenie i dla dalszych wyjaśnień:$2 \times 2$

• Czy jest jakiś dobry powód, aby używać PCA zamiast EFA? Czy PCA może również zastąpić analizę czynnikową?

Więc chociaż rysunki @ ttnphns mogą sprawiać wrażenie, że PCA i FA są bardzo różne, moim zdaniem jest inaczej, z wyjątkiem bardzo niewielu zmiennych lub w niektórych innych szczególnych sytuacjach.

Zobacz też:

• W jakich warunkach PCA i FA dają podobne wyniki?
• Co maksymalizują pierwsze czynników z analizy czynnikowej?$k$

Wreszcie:

Na przykład, spójrzmy na pierwszy wektor ładowania , dla , jeśli , i , to Powiedziałbym, że i są wysoce skorelowane, podczas gdy wydaje się z nimi nieskorelowane, prawda?$w_1$$1\le i,j,k\le p$$w_{1i}=10$$w_{1j}=11$$w_{1k}=0.1$$x_i$$x_j$$x_k$

To niekoniecznie jest poprawne. Tak, w tym przykładzie i prawdopodobnie będą skorelowane, ale zapominasz o innych czynnikach. Być może wektor obciążenia drugiego czynnika ma duże wartości dla i ; oznaczałoby to, że prawdopodobnie również będą dobrze skorelowane. Aby wyciągnąć takie wnioski, należy wziąć pod uwagę wszystkie czynniki.$x_i$$x_j$$w_2$$x_i$$x_k$