W przypadku PCA, „odchylenie” oznacza wariancję podsumowującej lub zmienność wieloczynnikowej lub całkowitą zmienność lub całkowitą zmienność . Poniżej znajduje się macierz kowariancji około 3 zmiennych. Ich wariancje są na przekątnej, a suma 3 wartości (3,448) jest zmiennością ogólną.
1.343730519 -.160152268 .186470243
-.160152268 .619205620 -.126684273
.186470243 -.126684273 1.485549631
Teraz PCA zastępuje oryginalne zmienne nowymi zmiennymi, zwanymi głównymi składnikami, które są ortogonalne (tj. Mają zerowe kowariacje) i mają wariancje (zwane wartościami własnymi) w porządku malejącym. Zatem macierz kowariancji między głównymi składnikami wyodrębnionymi z powyższych danych jest następująca:
1.651354285 .000000000 .000000000
.000000000 1.220288343 .000000000
.000000000 .000000000 .576843142
Należy zauważyć, że suma diagonalna wynosi nadal 3,448, co oznacza, że wszystkie 3 składniki odpowiadają całej zmienności wielowymiarowej. Pierwszy główny składnik odpowiada lub „wyjaśnia” 1,651 / 3,448 = 47,9% ogólnej zmienności; drugi wyjaśnia 1.220 / 3.448 = 35,4%; trzeci wyjaśnia. 577 / 3,448 = 16,7%.
Co mają na myśli, gdy mówią, że „ PCA maksymalizuje wariancję ” lub „ PCA wyjaśnia maksymalną wariancję ”? Nie oznacza to oczywiście, że znajduje największą wariancję wśród trzech wartości 1.343730519 .619205620 1.485549631
, nie. PCA znajduje w przestrzeni danych wymiar (kierunek) o największej wariancji spośród wariancji ogólnej1.343730519+.619205620+1.485549631 = 3.448
. Byłaby to największa wariancja 1.651354285
. Następnie znajduje wymiar drugiej największej wariancji, ortogonalnej do pierwszej, spośród pozostałej 3.448-1.651354285
ogólnej wariancji. Ten drugi wymiar byłby 1.220288343
wariancją. I tak dalej. Ostatnim pozostałym wymiarem jest .576843142
wariancja. Zobacz także „Pt3” tutaj i świetną odpowiedź tutaj wyjaśniając, jak to zrobić bardziej szczegółowo.
Matematycznie PCA odbywa się za pomocą funkcji algebry liniowej zwanej rozkładem własnym lub rozkładem svd. Funkcje te zwrócą ci jednocześnie wszystkie wartości własne 1.651354285 1.220288343 .576843142
(i odpowiadające im wektory własne) ( patrz , patrz ).