Odwrotna macierz kowariancji vs macierz kowariancji w PCA

Czy w PCA robi to różnicę, jeśli wybieramy główne składniki odwrotnej macierzy kowariancji LUB jeśli upuszczamy wektory własne macierzy kowariancji odpowiadające dużym wartościom własnym?

Jest to związane z dyskusją w tym poście .

Zauważ, że dla dodatniej określonej macierzy kowariancji dokładność wynosi Σ - 1 = U D - 1 U ′ .$\mathbf \Sigma = \mathbf{UDU}'$$\boldsymbol \Sigma^{-1} = \mathbf {U D}^{-1} \mathbf U'$

Wektory własne pozostają więc takie same, ale wartości własne precyzji są odwrotnością wartości własnych kowariancji. Oznacza to, że największe wartości własne kowariancji będą najmniejszymi wartościami własnymi precyzji. Ponieważ masz odwrotność, dodatnia definitywność gwarantuje, że wszystkie wartości własne są większe od zera.

Dlatego jeśli zachowasz wektory własne związane z najmniejszymi wartościami własnymi precyzji, odpowiada to zwykłemu PCA. Ponieważ już wzięliśmy odwzajemnienie ( D - 1 ), do zakończenia wybielania transformowanych danych należy stosować tylko pierwiastek kwadratowy z precyzyjnych wartości własnych.$k$$\bf D^{-1}$

Ponadto macierz odwrotnej kowariancji jest proporcjonalna do częściowej korelacji między wektorami:

Corr(Xi, Xj | (Xothers )

Korelacja między Xi i Xj, gdy wszystkie inne są ustalone, jest bardzo przydatna w szeregach czasowych.