Czym są „obrócone” i „nieobrócone” główne elementy, biorąc pod uwagę, że PCA zawsze obraca osie współrzędnych?

O ile rozumiem, główne komponenty są uzyskiwane przez obrót osi współrzędnych w celu wyrównania ich z kierunkami maksymalnej wariancji.

Niemniej jednak wciąż czytam o „niezabezpieczonych głównych składnikach”, a moje oprogramowanie statystyczne (SAS) daje mi główne elementy obrócone varimax, a także te niezabezpieczone. Tutaj jestem zdezorientowany: kiedy obliczamy główne elementy, osie są już obrócone; dlaczego więc potrzebna jest kolejna rotacja? A co oznacza „główny niechroniony składnik”?

To będzie odpowiedź nietechniczna.

Masz rację: PCA to zasadniczo obrót osi współrzędnych, tak dobrany, aby każda udana oś przechwytywała jak najwięcej odchyleń.

W niektórych dyscyplinach (takich jak np. Psychologia) ludzie lubią stosować PCA w celu interpretacji uzyskanych osi. Tzn. Chcą być w stanie powiedzieć, że główna oś # 1 (która jest pewną liniową kombinacją pierwotnych zmiennych) ma pewne szczególne znaczenie. Aby odgadnąć to znaczenie, sprawdziliby wagi w kombinacji liniowej. Jednak wagi te są często nieporządne i nie można dostrzec żadnego wyraźnego znaczenia.

W takich przypadkach ludzie czasami majstrują przy odrobinie wanilii z PCA. Biorą pewną liczbę głównych osi (które według pewnego kryterium są uważane za „znaczące”) i dodatkowo obracają je, starając się osiągnąć jakąś „prostą strukturę” - to znaczy kombinacje liniowe, które byłyby łatwiejsze do interpretacji. Istnieją specyficzne algorytmy, które szukają najprostszej możliwej struktury; jeden z nich nazywa się varimax. Po rotacji varimax kolejne komponenty nie wychwytują tak dużej wariancji, jak to możliwe! Ta funkcja PCA zostaje zerwana przez wykonanie dodatkowego obrotu varimax (lub innego).

Zatem przed zastosowaniem rotacji varimax masz „niezabezpieczone” główne elementy. Następnie otrzymujesz „obrócone” główne elementy. Innymi słowy, terminologia ta odnosi się do przetwarzania końcowego wyników PCA, a nie do samej rotacji PCA.

Wszystko to jest nieco skomplikowane przez fakt, że to, co się obraca, to obciążenia, a nie osie główne jako takie. Jednak ze względu na szczegóły matematyczne odsyłam ciebie (i każdego zainteresowanego czytelnika) do mojej długiej odpowiedzi tutaj: czy po PCA następuje rotacja (np. Varimax) nadal PCA?