Ładunki a wektory własne w PCA: kiedy używać jednego lub drugiego?

67

W analizie głównego składnika (PCA) otrzymujemy wektory własne (wektory jednostkowe) i wartości własne. Teraz zdefiniujmy jako

Loadings = Eigenvectors \cdot \sqrt{Eigenvalues} .

$\text{Loadings} = \text{Eigenvectors} \cdot \sqrt{\text{Eigenvalues}}.$

Wiem, że wektory własne to tylko kierunki, a obciążenia (jak zdefiniowano powyżej) obejmują również wariancję wzdłuż tych kierunków. Ale dla lepszego zrozumienia chciałbym wiedzieć, gdzie powinienem używać ładunków zamiast wektorów własnych? Przykład byłby idealny!

Zasadniczo widziałem tylko osoby używające wektorów własnych, ale co jakiś czas używają ładunków (jak zdefiniowano powyżej), a potem mam wrażenie, że tak naprawdę nie rozumiem różnicy.

pca

— użytkownik2696565
źródło

66

W PCA dzielisz macierz kowariancji (lub korelacji) na część skali (wartości własne) i część kierunkową (wektory własne). Następnie możesz wyposażyć wektory własne w skalę: ładunki . Tak więc ładunki stają się w ten sposób porównywalne pod względem wielkości z kowariancjami / korelacjami zaobserwowanymi między zmiennymi, - ponieważ to, co zostało wyciągnięte z kowariancji zmiennych, teraz powraca - w postaci kowariancji między zmiennymi a głównymi składnikami. W rzeczywistości ładunki to kowariancje / korelacje między oryginalnymi zmiennymi a komponentami skalowanymi jednostkowo . Ta odpowiedź pokazuje geometrycznie, jakie są obciążenia i jakie są współczynniki kojarzące komponenty ze zmiennymi w PCA lub analizie czynnikowej.

Ładunki :

Pomagają interpretować główne elementy lub czynniki; Ponieważ są to liniowe wagi kombinacji (współczynniki), w których komponenty lub współczynniki w skali jednostki definiują lub „ładują” zmienną .

(Wektor własny to tylko współczynnik ortogonalnej transformacji lub projekcji, jest on pozbawiony „obciążenia” w ramach swojej wartości. „Obciążenie” to (informacja o wielkości) wariancji, wielkości. Komputery PC są wyodrębniane w celu wyjaśnienia wariancji zmiennych. Wartości własne są wariancje (= wyjaśnione przez) komputerów PC. Kiedy pomnożymy wektor własny przez root sqs wartości eivenvalue, „ładujemy” goły współczynnik przez ilość wariancji. Dzięki tej wartości współczynnik ten jest miarą asocjacji , co- zmienność.)
Obciążenia są czasem „obracane” (np. Varimax), aby ułatwić interpretację ( patrz także );
To ładunki „przywracają” pierwotną macierz kowariancji / korelacji (patrz także ten wątek omawiający niuanse PCA i FA w tym zakresie);
Podczas gdy w PCA można obliczyć wartości składników zarówno z wektorów własnych, jak i obciążeń, w analizie czynnikowej oblicza się wyniki czynników na podstawie obciążeń .
A przede wszystkim matryca ładująca ma charakter informacyjny: jej pionowe sumy kwadratów są wartościami własnymi, wariancjami komponentów, a poziome sumy kwadratów są częściami wariancji zmiennych „wyjaśnianych” przez komponenty.
Obciążenie przeskalowane lub znormalizowane to obciążenie podzielone przez st. Zmiennej odchylenie; to jest korelacja. (Jeśli twój PCA jest oparty na korelacji PCA, ładowanie jest równe przeskalowanemu, ponieważ PCA oparty na korelacji jest PCA dla zmiennych standaryzowanych.) Skalowane ładowanie kwadratowe ma znaczenie wkładu pr. komponent do zmiennej; jeśli jest wysoki (blisko 1), zmienna jest dobrze zdefiniowana przez sam ten komponent.

Przykład obliczeń wykonanych w PCA i FA do zobaczenia .

Wektory własne są ładunkami skalowanymi jednostkowo; i są to współczynniki (cosinus) transformacji ortogonalnej (rotacji) zmiennych na główne składowe lub odwrotnie. Dlatego łatwo jest obliczyć z nimi wartości komponentów (niestandaryzowane). Poza tym ich użycie jest ograniczone. Kwadratowa wartość wektora własnego ma znaczenie udziału zmiennej w pr. składnik; jeśli jest wysoki (blisko 1), składnik jest dobrze zdefiniowany przez samą zmienną.

Chociaż wektory własne i ładunki są po prostu dwoma różnymi sposobami normalizacji współrzędnych tych samych punktów reprezentujących kolumny (zmienne) danych na biplocie , nie jest dobrym pomysłem mieszanie tych dwóch terminów. Ta odpowiedź wyjaśniła dlaczego. Zobacz także .

— ttnphns
źródło

3

\sqrt{e i g e n v a l u e s}

$\sqrt{{\rm eigenvalues}}$

1

Uwaga dodatkowa: W chemometrii obliczanie wyników na podstawie oryginalnych danych ma ogromne znaczenie, ponieważ wiele modeli predykcyjnych używa rotacji PCA (!) Do wstępnego przetwarzania, więc ograniczone użycie obciążeń jest IMHO naszym głównym zastosowaniem dla PCA.

— cbeleites,

2

@cbeleites, Jest nie tylko możliwe, że konwencje terminologiczne PCA / FA mogą się różnić w różnych dziedzinach (lub w innym oprogramowaniu lub książkach) - stwierdzam, że się różnią. W psychologii i ludzkich zachowaniach „obciążenia” są zwykle tym, co nazywam nazwą (obciążenia są bardzo ważne w tych dziedzinach, ponieważ oczekuje się interpretacji utajenia, podczas gdy wyniki mogą być zmniejszane, standaryzowane i nikogo to nie obchodzi). Z drugiej strony wielu Rużytkowników na tej stronie nazywa wektory własne PCA „ładowaniami”, które prawdopodobnie pochodzą z dokumentacji funkcji.

— ttnphns

(cd.) Najgorsze jest to, że słowo „ładunki” jest używane w innych technikach (LDA, korelacje kanoniczne itp.), nie dokładnie w tym samym znaczeniu, co w PCA. Tak więc samo słowo jest zagrożone. Zgadzam się z @amoeba, który przypuszcza, że został on całkowicie odrzucony i zastąpiony dokładnymi statystycznie terminami, takimi jak „korelacje” lub „współczynniki”. Z drugiej strony „wektory własne” wydają się być ograniczone do rozkładu svd / własnego i niektórych metod dim. redukcje nie wykonują ich wcale lub w swojej klasycznej formie.

— ttnphns

1

Musisz się mieszać. Po prawidłowym obliczeniu wyników komputera za pomocą obciążeń powstają po prostu znormalizowane elementy. Nie obliczasz tych wyników według tej samej formuły, jak w przypadku wektorów własnych; powinieneś raczej użyć wzorów opisanych w linku do mojego # 4.

— ttnphns

3

Wydaje się, że istnieje duże zamieszanie dotyczące obciążeń, współczynników i wektorów własnych. Ładunki słów pochodzą z analizy czynnikowej i odnoszą się do współczynników regresji macierzy danych do czynników. Nie są to współczynniki definiujące czynniki. Zobacz na przykład Mardia, Bibby i Kent lub inne podręczniki statystyki na wielu odmianach.

W ostatnich latach ładowanie słów było używane do wskazania współczynników PC. Tutaj wydaje się, że służyło do wskazywania współczynników pomnożonych przez sqrt wartości własnych macierzy. Nie są to ilości powszechnie stosowane w PCA. Główne składniki są zdefiniowane jako suma zmiennych ważonych współczynnikami normy jednostkowej. W ten sposób komputery PC mają normę równą odpowiedniej wartości własnej, która z kolei jest równa wariancji wyjaśnionej przez składnik.

W analizie czynnikowej czynniki muszą mieć normę jednostkową. Ale FA i PCA są zupełnie inne. Obracanie współczynnika PC jest bardzo rzadkie, ponieważ niszczy optymalność komponentów.

W FA czynniki nie są jednoznacznie zdefiniowane i można je oszacować na różne sposoby. Ważnymi wielkościami są ładunki (te prawdziwe) i społeczności, które są używane do badania struktury macierzy kowariancji. PCA lub PLS powinny być stosowane do oszacowania składników.

— Marco Stamazza
źródło

2

Ta odpowiedź, poprawna w poszczególnych aspektach (+1), pomija fakt, że zarówno FA, jak i PCA można zobaczyć i są one porównywalne (chociaż są odrębne) jako przewidywanie zmiennych manifestowanych przez czynniki / składniki (te ostatnie wzięte w skali jednostkowej). Obciążenia są współczynnikami tej prognozy. Tak więc ładunki są używane i są poprawnymi terminami, co oznacza to samo, zarówno w polach FA, jak i PCA.

— ttnphns

3

Szkoda też, że niektóre źródła (szczególnie dokumentacja R) nieostrożnie nazywają współczynniki własne „ładunkami” - nie zawierają w sobie żadnego obciążenia .

— ttnphns

Po prostu FA i PCA szacują inny model. W FA błędy są ortogonalne w PCA, a nie są. Nie widzę sensu w porównywaniu wyników, chyba że ktoś szuka modelu. Obciążenia są kolumnami macierzy Lużywanej do zapisywania macierzy kowariancji, tak jak w S = LL' + Cprzypadku Cmacierzy diagonalnej. nie mają one nic wspólnego ze współczynnikami komputerów.

— Marco Stamazza

they have nothing to do with the PCs' coefficientsObliczamy ładunki w PCA, tak jak robimy to w FA. Modele są różne, ale znaczenie obciążeń jest podobne w obu metodach.

— ttnphns

0

In Factor Analysis (using PCA for extraction), we get orthonormal eigen vectors (unit vectors) and corresponding eigenvalues. Now, loadings are defined as

Ładunki = wektory własne ortonormalne⋅ Pierwiastek kwadratowy z (bezwzględne wartości własne) W tym przypadku wektory własne ortonormalne (tj. Określenie wektory własne ortonormalne) zapewniają kierunek, a wartość pierwiastek kwadratowy z (wartości własne bezwzględne).

Zwykle ludzie mówią, że znaki w ładunkach nie mają znaczenia, ale ich wielkość jest ważna. Ale jeśli odwrócimy kierunek jednego wektora własnego (zachowując znak innych wektorów własnych, ponieważ są), wówczas wyniki czynnikowe zostaną zmienione. Dlatego na dalszą analizę wpłynie to znacząco.

Do tej pory nie mogłem znaleźć zadowalającego rozwiązania tej dwuznaczności.

— użytkownik173611
źródło

0

Wydaje się, że istnieje pewne zamieszanie w tej sprawie, dlatego przedstawię kilka spostrzeżeń i wskazówkę, gdzie w literaturze można znaleźć doskonałą odpowiedź.

Po pierwsze, PCA i analiza czynnikowa (FA) są powiązane. Zasadniczo główne składniki są z definicji ortogonalne, podczas gdy czynniki - analogiczny byt w FA - nie są. Mówiąc najprościej, główne komponenty obejmują przestrzeń czynników w arbitralny, ale niekoniecznie użyteczny sposób, ponieważ pochodzą z czystej analizy danych. Czynniki z drugiej strony reprezentują byty świata rzeczywistego, które są przypadkowe tylko ortogonalne (tj. Nieskorelowane lub niezależne).

Powiedzieć bierzemy s obserwacje z każdego l przedmiotów. Można je ułożyć w macierz danych D, mającą s wierszy i l kolumn. D można rozkładać na macierz S oceny i macierz obciążenia L tak, że D = SL . S będzie miał s wierszy i L będzie mieć l kolumny, drugi wymiar każdy oznacza liczbę czynników n . Celem analizy czynnikowej jest rozkład Dw taki sposób, aby ujawnić podstawowe wyniki i czynniki. Obciążenia w L powiedzieć nam proporcji poszczególnych punktów tworzących uwag D .

W PCA L ma wektory własne macierzy korelacji lub kowariancji D jako swoje kolumny. Są one konwencjonalnie ułożone w kolejności malejącej odpowiednich wartości własnych. Wartość n - tj. Liczbę znaczących głównych składników, które należy zachować w analizie, a zatem liczbę rzędów L - określa się zazwyczaj za pomocą wykresu piargowego wartości własnych lub jednej z wielu innych metod, które można znaleźć w literatura. Kolumny S w PCA same tworzą n abstrakcyjnych głównych składników. Wartość n jest podstawowym wymiarem zbioru danych.

Celem analizy czynnika jest transformacja komponentów na sensowne streszczenie czynników przez wykorzystanie transformacji macierzy T tak, że D = STT ^-1l . ( ST ) jest transformowaną macierzą wyników, a ( T ^-1L ) jest transformowaną macierzą obciążeń.

Powyższe wyjaśnienie z grubsza wynika z zapisu Edmunda R. Malinowskiego z jego doskonałej analizy czynnikowej w chemii . Bardzo polecam otwierające rozdziały jako wprowadzenie do tematu.

— Matt Wenham
źródło

Ta odpowiedź wydaje się mieć kilka problemów. Najpierw sprawdź swoje formuły, proszę, nie są one poprawne. Po drugie, próbujesz omówić różnice między FA a PCA. Mamy do tego osobny długi wątek na CV, podczas gdy bieżący wątek dotyczy ładunków vs wektorów własnych, więc odpowiedź jest błędna. Po trzecie, twój obraz FA jest zniekształcony, szczególnie w zdaniach takich jak „celem FA jest rozkład D” lub „celem FA jest przekształcenie elementów abstrakcyjnych w znaczące czynniki”.

— ttnphns,

Uważam, że materiał, który zamieściłem, jest odpowiedni do dyskusji w tym wątku i zawiera on jedno wyjaśnienie związku między ładunkami a wektorami własnymi.

— Matt Wenham,

Moje badania na ten temat zostały streszczone w tym artykule: onlinelibrary.wiley.com/doi/10.1002/sia.740231303/full

— Matt Wenham,

OK, może twoje konto jest nadal ważne - nie mogę powiedzieć, że nie czytam źródeł, które oferujesz. Chciałbym jednak zauważyć, że „zależność” między ładunkami a wektorami własnymi w PCA jest zawarta w formule postawionej w pytaniu; więc nie ma prawie nic do „wyjaśnienia” (wyjaśniona powinna być ich inna użyteczność). Inną rzeczą do zauważenia jest to, że Q dotyczy przede wszystkim PCA, a nie FA. I ostatecznie, nie każda metoda FA w ogóle zajmuje się wektorami własnymi, podczas gdy koniecznie dotyczy ładunków.

— ttnphns,

Przepraszam, nie sądzę, że istnieje publicznie dostępna wersja mojego artykułu, chociaż można uzyskać dostęp za pośrednictwem Deepdyve.com w dwutygodniowym okresie próbnym. Pierwszy rozdział książki Malinowskiego jest dostępny z linku powyżej. Obejmuje to podstawy, nie wspominając o analizie własnej. Muszę przyznać, że nie zdawałem sobie sprawy z tego, że analizy czynnikowej można dokonać bez analizy własnej, tak jak robi to wariant, który zastosowałem - analiza czynników docelowych.

— Matt Wenham,

-1

Jestem trochę zdezorientowany tymi nazwami i szukałem w książce zatytułowanej „Metody statystyczne w nauce o atmosferze”, która dała mi streszczenie zróżnicowanej terminologii PCA, oto zrzuty ekranu w książce, mam nadzieję, że to pomoże.

— D.Zhang
źródło