Czy jest jakiś dobry powód, aby używać PCA zamiast EFA? Czy PCA może również zastąpić analizę czynnikową?

W niektórych dyscyplinach PCA (analiza głównego składnika) jest systematycznie stosowana bez żadnego uzasadnienia, a PCA i EFA (analiza czynników eksploracyjnych) są uważane za synonimy.

Dlatego ostatnio użyłem PCA do analizy wyników badania walidacji skali (21 pozycji na 7-punktowej skali Likerta, zakładając, że składają się 3 czynniki po 7 pozycji każdy), a recenzent pyta mnie, dlaczego wybrałem PCA zamiast EFA. Czytam o różnicach między obiema technikami i wydaje się, że EFA jest faworyzowana przeciwko PCA w większości twoich odpowiedzi tutaj.

Czy masz jakieś dobre powody, dla których PCA byłby lepszym wyborem? Jakie korzyści może zapewnić i dlaczego może to być mądry wybór w moim przypadku?

Oświadczenie: @ttnphns ma dużą wiedzę zarówno na temat PCA, jak i FA, i szanuję jego opinię i wiele się nauczyłem z wielu jego świetnych odpowiedzi na ten temat. Jednak nie zgadzam się z jego odpowiedzią tutaj, a także z innymi (licznymi) postami na ten temat tutaj w CV, nie tylko jego; a raczej myślę, że mają ograniczone zastosowanie.

---

Myślę, że różnica między PCA i FA jest przereklamowana.

Spójrz na to w ten sposób: obie metody starają się zapewnić przybliżenie niskiej rangi danej macierzy kowariancji (lub korelacji). „Niska ranga” oznacza, że ​​stosowana jest tylko ograniczona (niska) liczba ukrytych czynników lub głównych składników. Jeśli macierzy kowariancji danych to , modele są następujące:$n \times n$$\mathbf C$

$$\begin{align} \mathrm{PCA:} &\:\:\: \mathbf C \approx \mathbf W \mathbf W^\top \\ \mathrm{PPCA:} &\:\:\: \mathbf C \approx \mathbf W \mathbf W^\top + \sigma^2 \mathbf I \\ \mathrm{FA:} &\:\:\: \mathbf C \approx \mathbf W \mathbf W^\top + \boldsymbol \Psi \end{align}$$

Tutaj jest macierzą kolumnami (gdzie jest zwykle wybierana jako mała liczba, ), reprezentująca głównych składników lub czynników, jest macierzą tożsamości, a jest przekątną matryca. Każda metoda może być sformułowana jako znalezienie (i reszta) minimalizując [normę] różnicy między lewą i prawą stroną. k k k < n k I Ψ $\mathbf W$$k$$k$$k<n$$k$$\mathbf I$$\boldsymbol \Psi$$\mathbf W$

PPCA oznacza probabilistyczną PCA , a jeśli nie wiesz, co to jest, na razie nie ma to tak wielkiego znaczenia. Chciałem o tym wspomnieć, ponieważ idealnie pasuje do PCA i FA, mając złożoność modelu pośredniego. Przedstawia także rzekomo dużą różnicę między PCA i FA: chociaż jest to model probabilistyczny (dokładnie tak jak FA), okazuje się, że jest prawie równoważny PCA ( obejmuje tę samą podprzestrzeń).$\mathbf W$

Przede wszystkim należy pamiętać, że modele różnią się jedynie jak traktują przekątnej . Wraz ze wzrostem wymiarów , przekątna staje się coraz mniej ważna (ponieważ na przekątnej jest tylko elementów, a elementów poza przekątną). W rezultacie dla dużej liczby różnica pomiędzy PCA i FA zwykle nie jest znacząca , a obserwacja ta jest rzadko doceniana. Dla małych mogą się one naprawdę bardzo różnić. n n n ( n - 1 ) / 2 = O ( n 2 ) n $\mathbf C$$n$$n$$n(n-1)/2 = \mathcal O (n^2)$$n$$n$

Teraz, aby odpowiedzieć na twoje główne pytanie, dlaczego ludzie w niektórych dyscyplinach wydają się preferować PCA. Myślę, że sprowadza się to do tego, że jest matematycznie o wiele łatwiejsze niż FA (nie jest to oczywiste z powyższych wzorów, więc musisz mi tutaj uwierzyć):

1. PCA - podobnie jak PPCA, która jest tylko nieco inna - ma rozwiązanie analityczne, podczas gdy FA nie. Tak więc FA musi być dopasowana numerycznie, istnieją różne algorytmy robienia tego, dające możliwie różne odpowiedzi i działające przy różnych założeniach itp. Itp. W niektórych przypadkach niektóre algorytmy mogą utknąć (patrz np. „Przypadki hejwooda”). W przypadku PCA przeprowadzasz rozkład własny i gotowe; FA jest o wiele bardziej chaotyczny.

   Technicznie rzecz biorąc, PCA po prostu obraca zmienne i dlatego można to nazwać zwykłą transformacją, jak to zrobił @NickCox w swoim komentarzu powyżej.

2. Rozwiązanie PCA nie zależy od : możesz znaleźć pierwsze trzy komputery ( ), a pierwsze dwa będą identyczne z tymi, które można znaleźć, jeśli początkowo ustawisz . Nie dotyczy to FA: rozwiązanie dla niekoniecznie jest zawarte w rozwiązaniu dla . Jest to sprzeczne z intuicją i mylące.k = 3 k = 2 k = 2 k = $k$$k=3$$k=2$$k=2$$k=3$

Oczywiście FA jest bardziej elastycznym modelem niż PCA (w końcu ma więcej parametrów) i często może być bardziej przydatny. Nie sprzeciwiam się temu. Co ja jestem polemizując, jest twierdzenie, że są one bardzo różne pojęciowo z PCA jest o „opisujące dane” i FA jest o „znalezienie zmienne ukryte”. Po prostu nie wydaje mi się, żeby było to tak [prawie] prawdą.

Aby skomentować niektóre szczególne punkty wspomniane powyżej i powiązane odpowiedzi:

• „w PCA liczba wymiarów do wyodrębnienia / zachowania jest zasadniczo subiektywna, podczas gdy w EFA liczba jest stała i zwykle trzeba sprawdzić kilka rozwiązań” - cóż, wybór rozwiązania jest nadal subiektywny, więc nie zobacz każdą różnicę koncepcyjną tutaj. W obu przypadkach jest (subiektywnie lub obiektywnie) wybierane, aby zoptymalizować kompromis między dopasowaniem modelu a złożonością modelu.$k$

• „FA jest w stanie wyjaśnić korelacje parami (kowariancje). PCA generalnie nie może tego zrobić” - nie bardzo, oba wyjaśniają korelacje coraz lepiej wraz ze wzrostem .$k$

• Czasami pojawia się dodatkowe zamieszanie (ale nie w odpowiedziach @ ttnphns!) Z powodu różnych praktyk w dyscyplinach wykorzystujących PCA i FA. Na przykład powszechną praktyką jest zmienianie czynników w FA w celu poprawy interpretacji. Rzadko robi się to po PCA, ale w zasadzie nic nie stoi na przeszkodzie. Ludzie często myślą, że FA daje ci coś „możliwego do interpretacji”, a PCA nie, ale często jest to złudzenie.

Na koniec jeszcze raz podkreślę, że w przypadku bardzo małych różnice między PCA i FA mogą być naprawdę duże i być może niektóre z roszczeń na korzyść FA są sformułowane z myślą o małych . Jako skrajny przykład, dla pojedynczy czynnik zawsze może doskonale wyjaśnić korelację, ale jeden komputer może nie zrobić tego dość źle.n n = $n$$n$$n=2$

---

Aktualizacja 1: generatywne modele danych

Z liczby komentarzy widać, że to, co mówię, jest kontrowersyjne. Aby jeszcze bardziej zalać sekcję komentarzy, oto kilka uwag dotyczących „modeli” (patrz komentarze @ttnphns i @gung). @ttnphns nie podoba się, że użyłem słowa „model” [macierzy kowariancji], aby odnieść się do powyższych przybliżeń; jest to kwestia terminologii, ale to, co nazywa „modelami”, to probabilistyczne / generatywne modele danych :

$$\begin{align} \mathrm{PPCA}: &\:\:\: \mathbf x = \mathbf W \mathbf z + \boldsymbol \mu + \boldsymbol \epsilon, \; \boldsymbol \epsilon \sim \mathcal N(0, \sigma^2 \mathbf I) \\ \mathrm{FA}: &\:\:\: \mathbf x = \mathbf W \mathbf z + \boldsymbol \mu + \boldsymbol \epsilon, \; \boldsymbol \epsilon \sim \mathcal N(0, \boldsymbol \Psi) \end{align}$$

Należy zauważyć, że PCA nie jest modelem probabilistycznym i nie można go sformułować w ten sposób.

Różnica między PPCA i FA polega na określeniu szumu: PPCA zakłada taką samą wariancję szumu dla każdej zmiennej, podczas gdy FA zakłada różne wariancje („unikalność”). Ta niewielka różnica ma ważne konsekwencje. Oba modele mogą być wyposażone w ogólny algorytm maksymalizacji oczekiwań. Dla FA nie jest znane żadne rozwiązanie analityczne, ale dla PPCA można analitycznie wyprowadzić rozwiązanie, do którego EM się zbiega (zarówno i ). Okazuje się, że ma kolumny w tym samym kierunku, ale o mniejszej długości niż standardowe PCA (pomijam dokładne formuły). Z tego powodu uważam PPCA za „prawie” PCA:Ψ i i σ 2 W W P P C A W P C A$\sigma^2$$\Psi_{ii}$$\sigma^2$$\mathbf W$$\mathbf W_\mathrm{PPCA}$$\mathbf W_\mathrm{PCA}$$\mathbf W$ w obu przypadkach obejmuje tę samą „główną podprzestrzeń”.

Dowód ( Tipping i Bishop 1999 ) jest nieco techniczny; intuicyjnym powodem, dla którego jednorodna wariancja hałasu prowadzi do znacznie prostszego rozwiązania, jest to, że te same wektory własne, co dla dowolnej wartości , ale nie jest to prawdą w przypadku .C σ 2 C - $\mathbf C - \sigma^2 \mathbf I$$\mathbf C$$\sigma^2$$\mathbf C - \boldsymbol \Psi$

Więc tak, @gung i @ttnphns mają rację, ponieważ FA opiera się na modelu generatywnym, a PCA nie, ale myślę, że ważne jest, aby dodać, że PPCA również opiera się na modelu generatywnym, ale „prawie” odpowiada PCA . Wtedy przestaje to wydawać się tak ważną różnicą.

---

Aktualizacja 2: dlaczego PCA zapewnia najlepsze przybliżenie macierzy kowariancji, skoro wiadomo, że szuka maksymalnej wariancji?

PCA ma dwa równoważne sformułowania: np. Pierwszy PC to (a) ten maksymalizujący wariancję projekcji i (b) ten zapewniający minimalny błąd rekonstrukcji. Bardziej abstrakcyjnie, równoważność między maksymalizacją wariancji a minimalizacją błędu rekonstrukcji można zobaczyć za pomocą twierdzenia Eckarta-Younga .

Jeśli jest macierzą danych (z obserwacjami w postaci wierszy, zakłada się, że zmienne jako kolumny i kolumny są wyśrodkowane), a rozkład SVD to , to dobrze wiadomo, że kolumny są wektorami własnymi macierzy rozproszenia (lub macierzy kowariancji, jeśli są podzielone przez liczbę obserwacji) więc są to osie maksymalizujące wariancję (tj. osie główne). Ale przez Eckart-Young twierdzenia, pierwsze komputery zapewnić najlepszą rank- przybliżenie do :$\mathbf X$$\mathbf X=\mathbf U\mathbf S\mathbf V^\top$$\mathbf V$$\mathbf C=\mathbf X^\top \mathbf X=\mathbf V\mathbf S^2\mathbf V^\top$$k$$k$$\mathbf X$$\mathbf X_k=\mathbf U_k\mathbf S_k \mathbf V^\top_k$(notacja ta oznacza pobranie tylko największych pojedynczych wartości / wektorów) minimalizuje .$k$$\|\mathbf X-\mathbf X_k\|^2$

Pierwsze komputery nie tylko zapewniają najlepszą rank- przybliżenie do , ale również do macierzy kowariancji . Rzeczywiście, , a ostatnie równanie zapewnia rozkład SVD z (ponieważ jest ortogonalny i jest przekątna). Więc Eckert-Young Twierdzenie mówi nam, że najlepszym rank- przybliżeniem do jest przez . Można to przekształcić, zauważając tok X C C = X ⊤ X = V S 2 V ⊤ C V S 2 k C C k = V k S 2 k V ⊤ k W = V S C k = V k S 2 k V ⊤ k = ( V S ) k ( V S ) ⊤ k = $k$$k$$\mathbf X$$\mathbf C$$\mathbf C=\mathbf X^\top \mathbf X=\mathbf V\mathbf S^2\mathbf V^\top$$\mathbf C$$\mathbf V$$\mathbf S^2$$k$$\mathbf C$$\mathbf C_k = \mathbf V_k\mathbf S_k^2\mathbf V_k^\top$$\mathbf W = \mathbf V\mathbf S$ to PCA, więc

$$\mathbf C_k=\mathbf V_k\mathbf S_k^2\mathbf V^\top_k=(\mathbf V\mathbf S)_k(\mathbf V\mathbf S)_k^\top=\mathbf W_k\mathbf W^\top_k.$$

Najważniejsze jest to, że jak podano na początku.

$$\mathrm{minimizing} \; \left\{\begin{array}{ll} \|\mathbf C-\mathbf W\mathbf W^\top\|^2 \\ \|\mathbf C-\mathbf W\mathbf W^\top-\sigma^2\mathbf I\|^2 \\ \|\mathbf C-\mathbf W\mathbf W^\top-\boldsymbol\Psi\|^2\end{array}\right\} \; \mathrm{leads \: to} \; \left\{\begin{array}{cc} \mathrm{PCA}\\ \mathrm{PPCA} \\ \mathrm{FA} \end{array}\right\} \; \mathrm{loadings},$$

---

Aktualizacja 3: numeryczna demonstracja, że ​​PCA FA, gdyn → $\to$$n \to \infty$

@Ttnphns zachęcił mnie do przedstawienia liczbowego dowodu mojego twierdzenia, że ​​wraz ze wzrostem wymiarów rozwiązanie PCA zbliża się do rozwiązania FA. Oto jest.

Wygenerowałem macierz korelacji losowej z pewnymi silnymi korelacjami poza przekątną. Następnie wziąłem lewy górny kwadratowy blok tej macierzy ze zmiennymi , aby zbadać wpływ wymiarowości. Dla każdego wykonałem PCA i FA z liczbą składników / współczynników , a dla każdego obliczyłem błąd rekonstrukcji poza przekątną (zwróć uwagę, że na przekątnej FA doskonale rekonstruuje ze względu nan × n C n = 25 , 50 , … 200 n k = 1 … 5 k ∑ i ≠ j [ C - W W ⊤ ] 2 i j C Ψ n k $200\times 200$ $n \times n$$\mathbf C$$n=25, 50, \dots 200$$n$$k=1\dots 5$$k$

$$\sum_{i\ne j}\left[\mathbf C - \mathbf W \mathbf W^\top\right]^2_{ij}$$ $\mathbf C$$\boldsymbol \Psi$określenie, podczas gdy PCA nie; ale przekątna jest tutaj ignorowana). Następnie dla każdego i obliczyłem stosunek błędu off-diagonalnego PCA do błędu off-diagonalnego FA. Ten stosunek musi być większy niż , ponieważ FA zapewnia najlepszą możliwą rekonstrukcję.$n$$k$$1$

Po prawej stronie różne linie odpowiadają różnym wartościom , a jest pokazane na osi poziomej. Zauważ, że wraz ze wzrostem , stosunki (dla wszystkich ) zbliżają się do , co oznacza, że ​​PCA i FA dają w przybliżeniu takie same ładunki, PCA FA. Przy względnie małym , np. Gdy , PCA działa [przypuszczalnie] gorzej, ale różnica nie jest tak silna dla małego , a nawet dla stosunek jest poniżej .n n k 1 ≈ n n = 25 k k = 5 $k$$n$$n$$k$$1$$\approx$$n$$n=25$$k$$k=5$$1.2$

Współczynnik może stać się duży, gdy liczba czynników staje się porównywalna z liczbą zmiennych . W podanym powyżej przykładzie przy i , FA osiąga błąd rekonstrukcji, podczas gdy PCA nie, tzn. Stosunek byłby nieskończony. Ale wracając do pierwotnego pytania, gdy i , PCA będzie tylko nieznacznie przegrał z FA w wyjaśnianiu niediagonalnych część .n n = 2 k = 1 0 N = 21 K = 3 $k$$n$$n=2$$k=1$$0$$n=21$$k=3$$\mathbf C$

Aby zilustrować przykład PCA i FA zastosowanych do prawdziwego zestawu danych (zestaw danych wina o ), zobacz moje odpowiedzi tutaj:$n=13$

• Jakie są różnice między analizą czynnikową a analizą głównych składników?
• PCA i eksploracyjna analiza czynnikowa na tym samym zbiorze danych

Jak powiedziałeś, znasz odpowiednie odpowiedzi ; patrz także : So, as long as "Factor analysis..."+ kilka ostatnich akapitów; i dolna lista tutaj . Krótko mówiąc, PCA jest głównie techniką redukcji danych, podczas gdy FA jest techniką modelowania cech utajonych. Czasami dają podobne wyniki; ale w twoim przypadku - ponieważ prawdopodobnie masz ochotę konstruować / sprawdzać ukryte cechy tak, jakby to były prawdziwe byty - używanie FA byłoby bardziej uczciwe i nie powinieneś preferować PCA w nadziei, że ich wyniki się zbiegną. Z drugiej strony, ilekroć chcesz podsumować / uprościć dane - na przykład w celu późniejszej analizy - wolisz PCA, ponieważ nie narzuca żadnego silnego modelu (który może być nieistotny) dla danych.

Mówiąc inaczej, PCA podaje wymiary, które mogą odpowiadać niektórym subiektywnie konstruktywnym konstrukcjom, jeśli chcesz, podczas gdy EFA stanowi, że są to nawet ukryte funkcje, które faktycznie wygenerowały twoje dane, i ma na celu znalezienie tych funkcji. W FA oczekuje się interpretacji wymiarów (czynników) - niezależnie od tego, czy możesz przypisać znaczenie do zmiennej utajonej, czy nie, to ona „istnieje” (FA jest niezbędna), w przeciwnym razie powinieneś usunąć ją z modelu lub uzyskać więcej danych do obsługi to. W PCA znaczenie wymiaru jest opcjonalne.

I jeszcze raz innymi słowy: kiedy wyodrębnisz m czynniki (oddzielne czynniki od błędów), te kilka czynników wyjaśni (prawie) całą korelację między zmiennymi, tak że zmienne nie pozostawiają miejsca na korelację poprzez błędy. Dlatego tak długo, jak „czynniki” są zdefiniowane jako ukryte cechy, które generują / wiążą skorelowane dane, masz pełne wskazówki do interpretacji tego - co jest odpowiedzialne za korelacje. W PCA (wyodrębniaj składniki jakby „czynniki”) błędy (mogą) nadal korelują między zmiennymi; więc nie możesz twierdzić, że wyodrębniłeś coś wystarczająco czystego i wyczerpującego, aby interpretować w ten sposób.

Być może zechcesz przeczytać moją drugą, dłuższą odpowiedź w bieżącej dyskusji, na temat niektórych teoretycznych i symulacyjnych szczegółów eksperymentu na temat tego, czy PCA jest realnym substytutem FA. Proszę również zwrócić uwagę na wybitne odpowiedzi @amoeba podane w tym wątku.

---

Aktualizacja : W odpowiedzi na to pytanie @amoeba, który się temu sprzeciwił, wprowadził (mało znaną) technikę PPCA jako stojącą w połowie drogi między PCA i FA. To naturalnie uruchomiło logikę, że PCA i FA są wzdłuż jednej linii, a nie przeciwnie. To cenne podejście poszerza horyzonty teoretyczne. Ale może maskować ważną praktyczną różnicę dotyczącą tego, że FA rekonstruuje (wyjaśnia) wszystkie pary kowariancji z kilkoma czynnikami, podczas gdy PCA nie może tego zrobić z powodzeniem (a kiedy to robi czasami - to dlatego, że zdarzyło się, że mime FA).

W tym moją odpowiedź (a drugim i dodatkowego do drugiej kopalni tutaj) postaram się pokazać w zdjęcia, które PCA nie przywrócić kowariancji każdy dobrze (podczas gdy przywraca - maksymalizuje - wariancji optymalnie).

Podobnie jak w wielu moich odpowiedziach dotyczących analizy PCA lub analizy czynnikowej, przejdę do wektorowej reprezentacji zmiennych w przestrzeni tematycznej . W tym przypadku jest to tylko wykres ładowania pokazujący zmienne i ładunki ich komponentów. Mamy więc i zmienne (mieliśmy tylko dwie w zbiorze danych), ich pierwszy główny składnik, z ładunkami i . Zaznaczony jest również kąt między zmiennymi. Zmienne zostały wstępnie wyśrodkowane, więc ich kwadratowe długości, i są ich odpowiednimi .$X_1$$X_2$$F$$a_1$$a_2$$h_1^2$$h_2^2$

Kowariancja między i jest - to ich iloczyn skalarny - (ta , wartością korelacji). Ładunki PCA, oczywiście, wychwytują maksimum możliwej ogólnej wariancji przez , wariancję komponentu$X_1$$X_2$$h_1 h_2 cos \phi$$h_1^2+h_2^2$$a_1^2+a_2^2$$F$

Teraz kowariancja , gdzie jest rzutem zmiennej na zmienną (rzut, który jest prognozą regresji pierwszego na sekundę). I tak wielkość kowariancji może być renderowana przez obszar prostokąta poniżej (o bokach i ).$h_1 h_2 cos \phi = g_1 h_2$$g_1$$X_1$$X_2$$g_1$$h_2$

Zgodnie z tak zwanym „twierdzeniem czynnikowym” (może wiedzieć, jeśli czytasz coś na temat analizy czynnikowej), kowariancja między zmiennymi powinna być (ściśle, jeśli nie dokładnie) odtworzona przez pomnożenie ładunków wydobytych zmiennych utajonych ( czytaj ). To znaczy, do , w naszym szczególnym przypadku (jeśli rozpoznać główny składnik jako naszą ukrytą zmienną). Tę wartość odtworzonego kowariancji można oddać przez obszar prostokąta o bokach i . Narysujmy prostokąt, wyrównany przez poprzedni prostokąt, aby porównać. Prostokąt jest pokazany jako kreskowany poniżej, a jego obszar jest nazywany cov * (reprodukowany cov ).$a_1 a_2$$a_1$$a_2$

Oczywiste jest, że dwa obszary są dość odmienne, przy czym cov * jest znacznie większy w naszym przykładzie. Kowariancja została przeceniona przez ładunki , pierwszego głównego składnika. Jest to sprzeczne z kimś, kto mógłby oczekiwać, że PCA, tylko przez pierwszy z dwóch możliwych składników, przywróci obserwowaną wartość kowariancji.$F$

Co moglibyśmy zrobić z naszym spiskiem, aby ulepszyć reprodukcję? Możemy na przykład nieco obrócić wiązkę zgodnie z ruchem wskazówek zegara, nawet dopóki nie nałoży się ona na . Gdy ich linie się pokrywają, oznacza to, że zmusiliśmy do bycia naszą ukrytą zmienną. Wtedy ładowanie (rzut na na nim) będzie , a ładowanie (rzut na na nim) będzie . Zatem dwa prostokąty są takie same - ten, który został oznaczony jako cov , dzięki czemu kowariancja jest odtwarzana idealnie. Jednak , wariancja wyjaśniona przez nową „zmienną ukrytą”, jest mniejsza niż$F$$X_2$$X_2$$a_2$$X_2$$h_2$$a_1$$X_1$$g_1$$g_1^2 + h_2^2$$a_1^2 + a_2^2$ , wariancja wyjaśniona przez starą ukrytą zmienną, pierwszy główny składnik (kwadrat i stosy boków każdego z dwóch prostokątów na zdjęciu, dla porównania). Wydaje się, że udało nam się odtworzyć kowariancję, ale kosztem wyjaśnienia wielkości wariancji. Tj. Wybierając inną oś utajoną zamiast pierwszego głównego elementu.

Nasza wyobraźnia lub domysły mogą sugerować (nie będę i prawdopodobnie nie mogę tego udowodnić matematycznie, nie jestem matematykiem), że jeśli uwolnimy oś utajoną z przestrzeni zdefiniowanej przez i , płaszczyznę, pozwalając jej na wahanie nieco w naszym kierunku, możemy znaleźć jego optymalną pozycję - nazwijmy to, powiedzmy, - dzięki czemu kowariancja jest ponownie doskonale odtwarzana przez pojawiające się ładunki ( ), podczas gdy wyjaśniona jest wariancja ( ) będzie większa niż , jednakże nie tak duża, jak głównego składnika .X 2 $X_1$$X_2$$F^*$$a_1^* a_2^*$$a_1^{*2} + a_2^{*2}$$g_1^2 + h_2^2$$a_1^2 + a_2^2$$F$

Uważam, że ten warunek jest możliwy do osiągnięcia, szczególnie w tym przypadku, gdy oś utajona zostaje wyciągnięta wychodząc z płaszczyzny w taki sposób, aby wyciągnąć „kaptur” dwóch pochodnych płaszczyzn ortogonalnych, z których jedna zawiera oś i i drugi zawiera oś i . Następnie tę ukrytą oś nazwiemy wspólnym czynnikiem , a cała nasza „próba oryginalności” zostanie nazwana analizą czynnikową .$F^*$$X_1$$X_2$

---

Odpowiedź na „Update 2” @ amoeba w odniesieniu do PCA.

@amoeba jest poprawne i istotne, aby przypomnieć twierdzenie Eckarta-Younga, które jest fundamentalne dla PCA i jego technik kongenerycznych (PCoA, biplot, analiza korespondencji) opartych na SVD lub rozkładzie własnym. Zgodnie z nim, pierwsze główne osie optymalnie minimalizują - ilość równa , - jak również . Tutaj oznacza dane odtworzone przez głównych osi. znany jest równa z jest zmienne obciążenia oX | | X - X k | | 2 t r ( X ′ X ) $k$$\bf X$$\bf ||X-X_k||^2$$\bf tr(X'X)-tr(X_k'X_k)$$\bf ||X'X-X_k'X_k||^2$$\bf X_k$$k$$\bf X_k'X_k$$\bf W_k W_k'$$\bf W_k$$k$ składniki.

Czy to oznacza, że minimalizacja pozostaje prawdą, jeśli weźmiemy pod uwagę tylko nie-przekątne części obu symetrycznych macierzy? Sprawdźmy to, eksperymentując.$\bf ||X'X-X_k'X_k||^2$

Wygenerowano 500 10x6macierzy losowych (rozkład równomierny). Dla każdego z nich, po wycentrowaniu jego kolumn, wykonano PCA i obliczono dwie zrekonstruowane macierze danych : jedna zrekonstruowana przez komponenty 1 do 3 ( najpierw, jak zwykle w PCA), a druga jak zrekonstruowana przez komponenty 1, 2 i 4 (to znaczy komponent 3 został zastąpiony słabszym komponentem 4). Błąd rekonstrukcji (suma kwadratowej różnicy = kwadratowa odległość euklidesowa) został następnie obliczony dla jednego , dla drugiego . Te dwie wartości to para do pokazania na wykresie rozrzutu.$\bf X$$\bf X_k$$k$$\bf ||X'X-X_k'X_k||^2$$\bf X_k$$\bf X_k$

Błąd rekonstrukcji obliczano za każdym razem w dwóch wersjach: (a) porównano całe macierze i ; (b) porównywane są tylko nie-przekątne dwóch matryc. Mamy więc dwa wykresy rozrzutu, każdy z 500 punktami.$\bf X'X$$\bf X_k'X_k$

Widzimy, że na wykresie „cała macierz” wszystkie punkty leżą powyżej y=xlinii. Co oznacza, że ​​rekonstrukcja całej macierzy iloczynu skalarnego jest zawsze dokładniejsza o „1 do 3 składników” niż o „1, 2, 4 elementy”. Jest to zgodne z twierdzeniem Eckarta-Younga: pierwsze głównych komponentów to najlepsi monterzy.$k$

Jednak patrząc na wykres „tylko poza przekątną” zauważamy kilka punktów poniżej y=xlinii. Wydawało się, że czasami rekonstrukcja części nie przekątnych przez „1 do 3 składników” była gorsza niż przez „1, 2, 4 składniki”. Co automatycznie prowadzi do wniosku, że pierwszy główne składniki nie są regularnie najlepsze monterzy niediagonalnych produktów skalarnych wśród monterów dostępne w PCA. Na przykład, biorąc słabszy komponent zamiast silniejszego, może czasem poprawić rekonstrukcję.$k$

Tak więc, nawet w dziedzinie samego PCA , główne główne elementy - które, jak wiemy, przybliżają ogólną wariancję, a nawet całą macierz kowariancji - niekoniecznie przybliżają kowariancje poza przekątną . Konieczna jest zatem lepsza ich optymalizacja; i wiemy, że analiza czynnikowa jest (lub jedną z) techniką, która może to zaoferować.

---

Kontynuacja „Aktualizacji 3” @ amoeba: Czy PCA zbliża się do FA wraz ze wzrostem liczby zmiennych? Czy PCA jest ważnym substytutem FA?

Przeprowadziłem sieć badań symulacyjnych. Kilka struktur struktur populacyjnych, macierzy obciążeń zbudowano z liczb losowych i przekonwertowano na odpowiadające im macierze kowariancji populacyjnych jako , przy czym jest hałasem ukośnym (unikatowym wariancje). Te macierze kowariancji zostały wykonane ze wszystkimi wariancjami 1, dlatego były równe ich macierzom korelacji.$\bf A$$\bf R=AA'+ U^2$$\bf U^2$

Zaprojektowano dwa typy struktury czynnikowej - ostre i rozproszone . Struktura ostra ma wyraźną prostą strukturę: obciążenia są albo „wysokie”, albo „niskie”, bez pośrednich; i (w moim projekcie) każda zmienna jest wysoce obciążona dokładnie jednym czynnikiem. Odpowiedni jest zatem zauważalnie podobny do bloku. Struktura rozproszona nie rozróżnia dużych i niskich obciążeń: mogą być dowolną wartością losową w granicach; i nie przewiduje się żadnego wzoru w obrębie obciążeń. W związku z tym odpowiedni jest płynniejszy. Przykłady macierzy populacji:$\bf R$$\bf R$

Liczba czynników wynosiła lub . Liczba zmiennych została określona przez stosunek k = liczba zmiennych na czynnik ; k wartości .$2$$6$$4,7,10,13,16$

Dla każdego z kilku skonstruowanego populacji , jego losowe realizacje od rozkładu Wishart wielkości próbki (pod ) generowano. Były to przykładowe macierze kowariancji . Każdy z nich był analizowany czynnikowo przez FA (przez ekstrakcję osi głównej), a także przez PCA . Dodatkowo każdą taką macierz kowariancji przekształcono w odpowiednią macierz korelacji próbki , która została również przeanalizowana (faktorowana) w ten sam sposób. Na koniec przeprowadziłem również faktoring samej macierzy „macierzystej”, kowariancji populacji (= korelacji). Miara adekwatności próbkowania według Kaisera-Meyera-Olkina zawsze przekraczała 0,7.$\bf R$$50$n=200

W przypadku danych z 2 czynnikami analizy wyodrębniły 2, a także 1, a także 3 czynniki („niedoszacowanie” i „przeszacowanie” prawidłowej liczby reżimów czynników). W przypadku danych z 6 czynnikami analizy również wyodrębniły 6, a także 4, a także 8 czynników.

Celem badań było przywrócenie kowariancji / korelacji między FA a PCA. W ten sposób uzyskano resztki elementów o przekątnej. Zarejestrowałem resztki między odtworzonymi elementami a elementami macierzy populacji, a także resztki między pierwszymi a analizowanymi elementami macierzy próbki. Resztki pierwszego typu były koncepcyjnie bardziej interesujące.

Wyniki uzyskane po analizach przeprowadzonych na kowariancji próbki i na matrycach korelacji próbki miały pewne różnice, ale wszystkie główne ustalenia okazały się podobne. Dlatego omawiam (pokazuję wyniki) tylko analizy „trybu korelacji”.

1. Ogólne dopasowanie poza przekątną przez PCA vs FA

Poniższe grafiki przedstawiają, w zależności od różnej liczby czynników i różnych wartości k, stosunek średniej kwadratowej odchyłki od przekątnej uzyskanej w PCA do tej samej ilości uzyskanej w FA . Jest to podobne do tego, co @amoeba pokazało w „Aktualizacji 3”. Linie na wykresie reprezentują średnie tendencje w 50 symulacjach (pomijam pokazywanie na nich słupków błędów świętego).

(Uwaga: wyniki dotyczą faktoryzacji losowych macierzy korelacji próbek , a nie faktoryzowania ich rodzicielskiej macierzy populacji: niemądre jest porównywanie PCA z FA pod względem tego, jak dobrze wyjaśniają macierz populacji - FA zawsze wygra, a jeśli wyodrębniona zostanie prawidłowa liczba czynników, jej reszty będą prawie zerowe, więc stosunek przyspieszy do nieskończoności.)

Komentując te wątki:

• Ogólna tendencja: gdy k (liczba zmiennych na czynnik) rośnie, ogólny stosunek podtekstu PCA / FA zanika w kierunku 1. Oznacza to, że przy większej liczbie zmiennych PCA zbliża się do FA w wyjaśnianiu korelacji / kowariancji poza przekątną. (Udokumentowane przez @amoeba w jego odpowiedzi.) Prawdopodobnie prawem zbliżającym krzywe jest stosunek = exp (b0 + b1 / k) przy b0 bliskiej 0.
• Stosunek jest większy wrt reszt „próbka minus odtworzona próbka” (lewy wykres) niż wrt reszt „populacja minus odtworzona próbka” (prawy wykres). To znaczy (trywialnie), że PCA jest gorsze od FA pod względem dopasowania matrycy do natychmiastowej analizy. Jednak linie na lewym wykresie mają szybsze tempo zmniejszania, więc dla k = 16 stosunek ten jest również poniżej 2, tak jak na prawym wykresie.
• Przy resztkach „populacja minus próbka odtworzona” trendy nie zawsze są wypukłe, a nawet monotoniczne (pokazane są nietypowe łokcie). Tak więc, dopóki mowa dotyczy wyjaśniania macierzy populacyjnej współczynników poprzez faktoryzację próbki, zwiększenie liczby zmiennych nie zbliża regularnie PCA do FA pod względem jego jakości fittinq, chociaż istnieje tendencja.
• Stosunek jest większy dla czynników m = 2 niż dla czynników m = 6 w populacji (pogrubione czerwone linie znajdują się poniżej pogrubionych zielonych linii). Co oznacza, że ​​przy większej liczbie czynników działających na danych PCA szybciej dogania FA. Na przykład na prawym wykresie k = 4 daje współczynnik wydajności około 1,7 dla 6 czynników, podczas gdy ta sama wartość dla 2 czynników jest osiągana przy k = 7.
• Stosunek jest wyższy, jeśli wyodrębnimy więcej czynników w stosunku do prawdziwej liczby czynników. Oznacza to, że PCA jest tylko nieznacznie gorszym instalatorem niż FA, jeśli przy ekstrakcji nie doceniamy liczby czynników; i traci na tym więcej, jeśli liczba czynników jest prawidłowa lub przeszacowana (porównaj cienkie linie z pogrubionymi liniami).
• Ciekawy jest efekt ostrości struktury czynnikowej, który pojawia się tylko wtedy, gdy weźmiemy pod uwagę resztki „populacja minus odtworzona próbka”: porównaj wykresy szare i żółte po prawej stronie. Jeśli czynniki populacji rozpraszają zmienne, czerwone linie (m = 6 czynników) opadają na dno. Oznacza to, że w strukturze rozproszonej (takiej jak ładunki liczb chaotycznych) PCA (wykonywane na próbce) jest tylko kilka gorszych niż FA w rekonstrukcji korelacji populacji - nawet przy małym k, pod warunkiem, że liczba czynników w populacji nie jest bardzo mały. Jest to prawdopodobnie stan, w którym PCA jest najbardziej zbliżony do FA i jest najbardziej uzasadniony jako substytut cheeper. Podczas gdy w obecności ostrej struktury czynnikowej PCA nie jest tak optymistyczna w rekonstrukcji korelacji populacji (lub kowariancji): zbliża się do FA tylko w dużej perspektywie k.

2. Dopasowanie na poziomie elementu przez PCA vs FA: rozkład reszt

Dla każdego eksperymentu symulacyjnego, w którym przeprowadzono faktoring (za pomocą PCA lub FA) 50 losowych macierzy próbek z macierzy populacji, uzyskano rozkład reszt „korelacja populacji minus odtworzona (przez faktoring) korelacja próbki” dla każdego nie korelacyjnego elementu diagonalnego). Rozkłady były zgodne z wyraźnymi wzorami, a przykłady typowych rozkładów przedstawiono bezpośrednio poniżej. Wyniki po faktoryzacji PCA są niebieskie po lewej stronie, a wyniki po faktoryzacji FA są zielone po prawej stronie.

Najważniejsze jest to

• Wymienione, według wielkości bezwzględnej, korelacje populacyjne są przywracane przez PCA nieadekwatnie: odtworzone wartości są zawyżone o wielkość.
• Ale odchylenie zanika, gdy wzrasta k (stosunek liczby zmiennych do liczby czynników). Na zdjęciu, gdy na czynnik jest tylko k = 4 zmienne, reszty PCA rozkładają się w przesunięciu od zera. Widać to zarówno wtedy, gdy istnieją 2 czynniki, jak i 6 czynników. Ale przy k = 16 przesunięcie jest prawie niewidoczne - prawie zniknęło, a dopasowanie PCA zbliża się do dopasowania FA. Nie obserwuje się różnicy w rozprzestrzenianiu (wariancji) reszt między PCA i FA.

Podobny obraz widać również wtedy, gdy liczba wyodrębnionych czynników nie pasuje do prawdziwej liczby czynników: zmienia się jedynie wariancja reszt.

Przedstawione powyżej rozkłady na szarym tle odnoszą się do eksperymentów z ostrą (prostą) strukturą czynników obecnych w populacji. Kiedy wszystkie analizy przeprowadzono w sytuacji rozproszonej struktury współczynnika populacji, stwierdzono, że odchylenie PCA zanika nie tylko wraz ze wzrostem k, ale także ze wzrostem m (liczba czynników). Zobacz pomniejszone załączniki z żółtym tłem do kolumny „6 współczynników, k = 4”: dla wyników PCA nie zaobserwowano prawie żadnego przesunięcia od zera (przesunięcie jest jeszcze obecne przy m = 2, które nie jest pokazane na zdjęciu ).

Myśląc, że opisane odkrycia są ważne, postanowiłem zbadać te rozkłady resztkowe głębiej i wykreśliłem wykresy rozrzutu reszt (oś Y) względem wartości elementu (korelacja populacji) (oś X). Te wykresy rozrzutu łączą wyniki wszystkich (50) symulacji / analiz. Linia dopasowania LOESS (50% punktów lokalnych do użycia, jądro Epanechnikov) jest podświetlona. Pierwszy zestaw wykresów dotyczy ostrej struktury czynnikowej w populacji (w związku z tym oczywista jest trójmodalność wartości korelacji):

Komentowanie:

• Wyraźnie widzimy (opisaną powyżej) tendencję do odtwarzania, która jest charakterystyczna dla PCA jako skośna, negatywna linia trendu lessowego: duże korelacje populacji w wartościach bezwzględnych są przeszacowane przez PCA przykładowych zestawów danych. FA jest obiektywna (pozioma lessa).
• W miarę wzrostu k tendencja PCA maleje.
• PCA jest tendencyjna bez względu na to, ile czynników występuje w populacji: przy 6 czynnikach (i 6 wyodrębnionych w analizach) jest podobnie wadliwa, jak przy 2 czynnikach (2 wyodrębnione).

Drugi zestaw wykresów poniżej dotyczy struktury czynników rozproszonych w populacji:

Ponownie obserwujemy odchylenie PCA. Jednak w przeciwieństwie do przypadku ostrej struktury czynnikowej, odchylenie zanika wraz ze wzrostem liczby czynników: przy 6 czynnikach populacji, linia lessowa PCA nie jest daleka od poziomej nawet przy k tylko 4. To właśnie wyraziliśmy przez „ żółte histogramy ”wcześniej.

Ciekawym zjawiskiem na obu zestawach wykresów rozrzutu jest to, że linie lessowe dla PCA mają zakrzywione litery S. Ta krzywizna pokazuje się pod innymi losowo skonstruowanymi przeze mnie strukturami (ładunkami) populacji (sprawdziłem), chociaż jej stopień zmienia się i często jest słaby. Jeśli wynika to z kształtu S, to PCA zaczyna gwałtownie zniekształcać korelacje, gdy odbijają się od zera (szczególnie przy małym k), ale od pewnej wartości około - 30 lub 0,40 - stabilizuje się. Nie będę w tej chwili spekulować z powodu możliwego powodu takiego zachowania, choć uważam, że „sinusoida” wynika z tryginometrycznej natury korelacji.

Fit by PCA vs FA: Wnioski

Jako ogólny monter części diagonalnej macierzy korelacji / kowariancji, PCA - gdy jest stosowany do analizy matrycy próbki z populacji - może być dość dobrym substytutem analizy czynnikowej. Dzieje się tak, gdy stosunek liczby zmiennych / liczby oczekiwanych czynników jest wystarczająco duży. (Geometryczny powód korzystnego efektu stosunku wyjaśniono w dolnym przypisie ). Przy większej liczbie czynników stosunek może być mniejszy niż przy niewielu czynnikach. Obecność ostrej struktury czynnikowej (w populacji istnieje prosta struktura) utrudnia PCA zbliżenie się do jakości FA.$^1$

Wpływ struktury ostrego czynnika na ogólną zdolność dopasowania PCA jest widoczny tylko pod warunkiem uwzględnienia reszt „populacji bez odtworzonej próbki”. Dlatego nie można rozpoznać go poza środowiskiem badań symulacyjnych - w badaniu obserwacyjnym próbki nie mamy dostępu do tych ważnych pozostałości.

W przeciwieństwie do analizy czynnikowej PCA jest (dodatnio) tendencyjnym estymatorem wielkości korelacji populacji (lub kowariancji), które są dalekie od zera. Jednak tendencyjność PCA maleje wraz ze wzrostem stosunku liczby zmiennych / liczby oczekiwanych czynników. Uprzedzenie również maleje wraz ze wzrostem liczby czynników w populacji, ale ta ostatnia tendencja jest hamowana przez obecną ostrą strukturę czynników.

Chciałbym zauważyć, że polaryzacja dopasowania PCA i wpływ ostrej struktury na nią można odkryć również w przypadku pozostałości „próbka minus próbka odtworzona”; Po prostu pominąłem pokazywanie takich wyników, ponieważ wydają się nie dodawać nowych wrażeń.

Moja bardzo niepewna, szeroka rada może w końcu powstrzymać się od stosowania PCA zamiast FA dla typowych (tj. Przy 10 lub mniej czynników oczekiwanych w populacji) czynników analitycznych , chyba że masz jakieś 10+ razy więcej zmiennych niż czynniki. Im mniej czynników, tym poważniejszy jest niezbędny stosunek. Ponadto nie zalecałbym w ogóle stosowania PCA zamiast FA za każdym razem, gdy analizowane są dane o ugruntowanej, ostrej strukturze czynnikowej - na przykład gdy przeprowadzana jest analiza czynnikowa w celu zweryfikowania opracowanego lub już uruchomionego testu psychologicznego lub kwestionariusza z przegubowymi konstruktami / skalami . PCA może być wykorzystane jako narzędzie do wstępnej, wstępnej selekcji przedmiotów do instrumentu psychometrycznego.

Ograniczenia badania. 1) Użyłem tylko metody ekstrakcji czynnikowej PAF. 2) Wielkość próbki została ustalona (200). 3) Przy pobieraniu próbek matryc przyjęto normalną populację. 4) Dla ostrej struktury modelowano równą liczbę zmiennych na czynnik. 5) Konstruując ładunki czynnika populacji, pożyczyłem je od z grubsza jednolitego (dla ostrej struktury - trójnożnego, tj. 3-częściowego jednorodnego) rozkładu. 6) W tym natychmiastowym badaniu mogą oczywiście wystąpić niedopatrzenia, jak wszędzie.

---

Przypis . PCA będzie naśladować wyniki FA i stanie się równoważnym korektorem korelacji, gdy - jak powiedziano tutaj - zmienne błędu modelu, zwane czynnikami unikalnymi , staną się nieskorelowane. FA dąży do uczynienia ich nieskorelowanymi, ale PCA nie, mogą się zdarzyć, że są niepowiązane z PCA. Głównym warunkiem, kiedy może wystąpić, jest duża liczba zmiennych na liczbę wspólnych czynników (składników utrzymywanych jako wspólne czynniki).$1$

Rozważ następujące zdjęcia (jeśli musisz najpierw nauczyć się je rozumieć, przeczytaj tę odpowiedź ):

Aby wymóg analizy czynnikowej umożliwił pomyślne przywrócenie korelacji z kilkoma mwspólnymi czynnikami, unikalne czynniki , charakteryzujące statystycznie niepowtarzalne części zmiennych manifestu , muszą być nieskorelowane. Kiedy stosuje się PCA, muszą leżeć w podprzestrzeni -przestrzeni rozpiętej przez ponieważ PCA nie opuszcza przestrzeni analizowanych zmiennych. Zatem - patrz lewy - z ( czynnik główny jest analizowany ) i ( , ) analizowane, unikalne czynniki ,$U$p$X$p $U$p-mp$X$m=1$P_1$p=2$X_1$$X_2$$U_1$$U_2$obowiązkowo nakładają się na pozostały drugi składnik (służąc jako błąd analizy). W związku z tym muszą być skorelowane z . (Na zdjęciu korelacje są równe cosinusom kątów między wektorami.) Wymagana ortogonalność jest niemożliwa, a obserwowanej korelacji między zmiennymi nigdy nie można przywrócić (chyba że unikatowymi czynnikami są wektory zerowe, trywialny przypadek).$r=-1$

Ale jeśli dodasz jeszcze jedną zmienną ( ), prawy i wyodrębnij jeszcze jeden pr. jako wspólny czynnik, trzy muszą leżeć w płaszczyźnie (zdefiniowanej przez pozostałe dwa pr. składowe). Trzy strzały mogą obejmować płaszczyznę w taki sposób, że kąty między nimi są mniejsze niż 180 stopni. Pojawia się wolność dla kątów. Jako możliwy szczególny przypadek kąty mogą być w przybliżeniu równe, 120 stopni. To już nie jest bardzo daleko od 90 stopni, to znaczy od nieskorelacji. Tak wygląda sytuacja na zdjęciu.$X_3$$U$

Gdy dodamy czwartą zmienną, 4 będzie obejmować przestrzeń 3d. Z 5, 5 do rozpiętości 4d itp. Przestrzeń dla wielu kątów jednocześnie, aby osiągnąć bliżej 90 stopni, powiększy się. Co oznacza, że ​​przestrzeń dla PCA, aby zbliżyć się do FA w jego zdolności do dopasowywania trójkątów macierzy korelacji, również się powiększy.$U$

Ale prawdziwy FA jest zwykle w stanie przywrócić korelacje nawet przy małym stosunku „liczby zmiennych / liczby czynników”, ponieważ, jak wyjaśniono tutaj (i patrz tam drugi rysunek), analiza czynnikowa pozwala na wszystkie wektory czynnikowe (wspólny (-e) i unikalny) te), aby odejść od leżenia w przestrzeni zmiennych. Stąd jest miejsce na ortogonalność nawet przy tylko 2 zmiennych i jednym czynniku.$U$$X$

Powyższe zdjęcia dają również oczywistą wskazówkę, dlaczego PCA przecenia korelacje. Po lewej pic, na przykład , gdzie S są występy o S na (obciążenie od ) i S są długościami s (obciążeniach ). Ale ta korelacja zrekonstruowana przez sam jest równa tylko , tj. Większa niż .$r_{X_1X_2}= a_1a_2 - u_1u_2$$a$$X$$P_1$$P_1$$u$$U$$P_2$$P_1$$a_1a_2$$r_{X_1X_2}$

(To jest naprawdę komentarz do drugiej odpowiedzi @ ttnphns)
Jeśli chodzi o inny typ reprodukcji kowariancji zakładający błąd przez PC i FA, po prostu wydrukowałem ładunki / elementy wariancji, które występują w dwóch poprzednich ; tylko dla przykładów wziąłem 2 zmienne.

Zakładamy konstrukcję dwóch elementów jako jednego wspólnego czynnika i czynników specyficznych dla przedmiotu. Oto macierz ładunków czynnikowych:

  L_fa: 
          f1       f2      f3         
  X1:   0.894    0.447     .             
  X1:   0.894     .       0.447              

Oto macierz korelacji

  C:
         X1       X2 
  X1:   1.000   0.800
  X2:   0.800   1.000

Jeśli spojrzymy na macierz obciążeń L_fa i interpretujemy ją jak zwykle w FA, że f2 i f3 są terminami błędów / błędem specyficznym dla przedmiotu, odtwarzamy C bez tego błędu, otrzymując

 C1_Fa 
        X1       X2 
 X1:  0.800   0.800
 X2:  0.800   0.800

Tak więc doskonale odtworzyliśmy element nie przekątny, który jest kowariancją (a przekątna jest zmniejszona)

Jeśli spojrzymy na rozwiązanie pca (można to zrobić za pomocą prostych rotacji), otrzymujemy dwa czynniki z tej samej macierzy korelacji:

 L_pca : 
         f1        f2
 X1:   0.949      -0.316
 X2:   0.949       0.316

Zakładając drugi czynnik jako błąd, otrzymujemy odtworzoną macierz kowariancji

  C1_PC : 
        X1      X2
 X1:   0.900   0.900
 X2:   0.900   0.900

gdzie przeceniliśmy prawdziwą korelację. Jest tak, ponieważ zignorowaliśmy korektę ujemnej kowariancji częściowej w drugim czynniku = błąd. Zauważ, że PPCA byłby identyczny z pierwszym przykładem.

Przy większej liczbie przedmiotów nie jest to już tak oczywiste, ale wciąż nieodłączny efekt. Dlatego istnieje również koncepcja ekstrakcji MinRes (czy -rotacji?), A także widziałem coś takiego jak ekstrakcja z maksymalną determinantą i ...

---

[aktualizacja] Co do pytania @amoeba:

Zrozumiałem pojęcie „minimalnych reszt” („MinRes”) - rotacji jako metody zbieżnej z wcześniejszymi metodami obliczania CFA, w celu uzyskania najlepszej reprodukcji nie-diagonalnych elementów macierzy korelacji. Nauczyłem się tego w latach 80. i 90. i nie śledziłem rozwoju analizy czynnikowej (tak głębokiej jak wcześniej w ostatnich latach), więc być może „MinRes” jest nie na czasie.

Aby porównać to z rozwiązaniem PCA : można pomyśleć o znalezieniu rozwiązania pc przez rotację czynników, gdy są one uważane za osie w przestrzeni euklidesowej, a ładunki są współrzędnymi elementów w tej przestrzeni wektorowej.
Następnie dla pary osi powiedz x, y obliczane są sumy kwadratów z obciążeń osi x i osi y.
Na tej podstawie można znaleźć kąt obrotu, o który powinniśmy się obracać, aby uzyskać sumy kwadratów w obróconych osiach maksymalne na osi x ° i minimalne na osi y ° (gdzie mały okrąg wskazuje obrócone osie) .

Robi to dla wszystkich par osi (gdzie zawsze tylko oś x jest lewa, a oś y jest prawa (więc dla 4 czynników mamy tylko 6 par obrotu)), a następnie powtórz cały proces do stabilnego wyniku realizuje tak zwaną „metodę Jacobiego” w celu znalezienia rozwiązania głównych komponentów: zlokalizuje pierwszą oś tak, że zbierze maksymalną możliwą sumę kwadratów obciążeń („SSqL”) (co oznacza również „wariancję” ”) na jednej osi w bieżącej konfiguracji korelacyjnej.

O ile rozumiałem rzeczy, „ MinRes ” powinien patrzeć na częściowe korelacje zamiast SSqL; więc nie sumuje kwadratów obciążeń (jak to zrobiono w rotacji Jacobi-pc), ale sumuje krzyże produktów obciążeń w każdym czynniku - z wyjątkiem „produktów krzyżowych” (= kwadratów) obciążeń każdego przedmiot z samym sobą.
Po obliczeniu kryteriów dla osi xi dla osi y przebiega to w taki sam sposób, jak opisano dla iteracyjnego obrotu jacobi.

Ponieważ kryterium obrotu różni się liczbowo od kryterium maksymalnej wartości SSqL, wynik / pozycja obrotu powinny różnić się od rozwiązania PCA. Jeśli jest zbieżny, powinien zamiast tego zapewnić maksymalną możliwą korelację częściową na jednej osi w pierwszym czynniku, następną maksymalną korelację na następnym czynniku i tak dalej. Wydaje się, że chodzi o założenie tak wielu osi / czynników, że pozostała / resztkowa kowariancja cząstkowa staje się marginalna.

(Zauważ, że to tylko sposób, w jaki interpretowałem rzeczy, nie widziałem tej procedury wyraźnie spisanej (lub w tej chwili nie pamiętam); opis w matematyce wydaje się wyrażać ją raczej w kategoriach formuł jak w odpowiedzi Amoeby ) i jest prawdopodobnie bardziej autorytatywny. Właśnie znalazłem inne odniesienie w dokumentacji projektu R i prawdopodobnie bardzo dobre odniesienie w książce Gorsuch na temat analizy czynników, strona 116, dostępnej za pośrednictwem google-books )

Moim zdaniem pojęcia „PCA” i „FA” mają inny wymiar niż pojęcia „eksploracyjny”, „potwierdzający”, a może „wnioskowy”. Tak więc każdą z dwóch metod matematycznych / statystycznych można zastosować za pomocą jednego z trzech podejść.

Na przykład, dlaczego nie ma sensu mieć hipotezy, że moje dane mają ogólny czynnik, a także strukturę zestawu głównych składników (ponieważ mój eksperyment z moim aparatem elektronicznym dał mi prawie bezbłędne dane) i testuję moją hipotezę, że wartości własne kolejnych czynników występują ze współczynnikiem 75%? Jest to następnie PCA w ramach potwierdzających.

Z drugiej strony wydaje się absurdalne, że w naszym zespole badawczym tworzymy z dużym wysiłkiem baterię przedmiotu do mierzenia przemocy między uczniami i zakładania 3 głównych zachowań (agresja fizyczna, depresja, poszukiwanie pomocy przez władze / rodziców) i stawiania odpowiednich pytań w tej baterii… i „eksploracyjnie” określ, ile mamy czynników… Zamiast tego spojrzeć, jak dobrze nasza skala zawiera trzy rozpoznawalne czynniki (oprócz zaniedbywalnych specyficznych dla przedmiotu, a być może nawet fałszywie skorelowanych błędów). A potem, gdy potwierdzę, że rzeczywiście nasza bateria przedmiotów służy temu celowi, możemy przetestować hipotezę, że w klasach młodszych dzieci obciążenia współczynnikiem wskazującym na „szukanie pomocy przez władze” są wyższe niż u starszych uczniów. Hmmm, jeszcze raz potwierdzający ...

I eksploracyjny? Mam zestaw środków zaczerpniętych z badań nad mikrobiologią z 1960 r. I nie mieli zbyt wiele teorii, ale pobrali próbkę wszystkiego, czym mogliby zarządzać, ponieważ ich dziedzina badań była po prostu bardzo młoda, i ponownie badam dominującą strukturę czynników, zakładając (na przykład) , że wszystkie błędy są tej samej wielkości ze względu na precyzję optyczną zastosowanego mikroskopu (ppca-ansatz, jak właśnie się dowiedziałem). Następnie używam statystycznego (a następnie matematycznego) modelu dla FA, ale w tym przypadku w sposób eksploracyjny.

Tak przynajmniej rozumiem warunki.
Może jestem tutaj na niewłaściwym torze, ale nie zakładam tego.

---

Ps. W latach 90. napisałem mały interaktywny program do zbadania metody PCA i analizy czynnikowej na samym dole. Został napisany w Turbo-Pascal, nadal można go uruchamiać tylko w oknie Dos („Dos-box” pod Win7), ale ma naprawdę przyjemny urok: interaktywnie przełączać czynniki, które należy uwzględnić lub nie, a następnie obracać, oddzielny błąd specyficzny dla przedmiotu - wariancja (zgodnie z kryterium SMC lub kryterium równości wariancji (ppca?)), włączanie i wyłączanie opcji Kaiser, włączanie i wyłączanie kowariancji - wszystko to, podczas gdy macierz współczynników obciążenia jest widoczna jak w arkuszu kalkulacyjnym i może być obracany dla podstawowych różnych metod obrotu.
Nie jest to bardzo wyrafinowane: na przykład bez testu chisquare, tylko do samodzielnego uczenia się wewnętrznej mechaniki matematycznej. Ma również „tryb demo”, w którym program działa sam, wyświetlając wyjaśnienia na ekranie i symulując klawiaturę, co normalnie zrobiłby użytkownik.
Każdy, kto jest zainteresowany samodzielnym studiowaniem lub nauczaniem, może pobrać go z moich małych stron oprogramowania w (R) .zip Po prostu rozwiń pliki w zipie w katalogu dostępnym dla Dos-Box i wywołaj „demoall.bat” w trzecia część „wersji demonstracyjnej” Zrobiłem demonstrację, w jaki sposób modelować błędy specyficzne dla przedmiotu za pomocą rotacji z początkowo rozwiązania pca ...

Jeszcze jedna dodatkowa uwaga na długą (i naprawdę świetną) odpowiedź @ amoebas na temat znaku -estimate. $\Psi$

W początkowych instrukcjach masz trzy : dla PCA jest , dla PPCA jest a dla FA opuściłeś nieokreślony. $\Psi$$\Psi = 0$$\Psi=\sigma ^2 I$$\Psi$

Należy jednak wspomnieć, że istnieje nieskończona liczba różnych możliwych (z pewnością ograniczona), ale dokładnie jedna, która minimalizuje rangę macierzy czynników. Nazwijmy to Standardowym (automatycznym) oszacowaniem dla jest diagonalna macierz oparta na SMC, więc to jako (a nawet niektóre oprogramowanie (wydaje się, że) nie próbują zoptymalizować dół od podczas gdy jest (ogólnie) wymagane (aby) zapobiegać przypadkom Heywooda / negatywności). Co więcej, nawet tak zoptymalizowany$\Psi$$\Psi_{opt}$$\Psi_{std}$$\Psi_{std}= \alpha^2 D_{smc}$$\alpha$$1$$\alpha \lt 1$ $\alpha^2$nie gwarantują minimalny stopień pozostałych kowariancji, co zazwyczaj mamy to nie równy: w ogólnym . Znalezienie to bardzo trudna gra i o ile wiem (ale to już nie jest tak „daleko”, jak powiedzmy 20 lat temu, kiedy byłem bardziej zaangażowany i bliższy książkom), to wciąż jest nierozwiązany problem. $\Psi_{std} \ne \Psi_{opt}$
$\Psi_{opt}$

---

Odzwierciedla to idealną, matematyczną stronę problemu, a moje rozróżnienie między i może być w rzeczywistości niewielkie. Bardziej ogólne zastrzeżenie polega jednak na tym, że omawia całą maszynerię faktoryzacji z punktu widzenia tego, że badam tylko moją próbkę lub mam dane z całej populacji ; w modelu statystyki wnioskowania, w której wnioskuję na podstawie niedoskonałej próby na populacji, moja empiryczna kowariancja - a zatem także faktormatrix jest jedynie szacunkiem, jest tylko cieniem „prawdziwej” kowariancji- / factormatrix. Dlatego w takim systemie / modelu powinniśmy nawet wziąć pod uwagę, że nasze „błędy” nie są idealne$\Psi_{std}$$\Psi_{opt}$, a zatem może być fałszywie skorelowany. W rzeczywistości w takich modelach powinniśmy / pozostawilibyśmy za sobą idealistyczne założenie nieskorelowanego błędu, a zatem ściśle diagonalnej formy .$\Psi$