Dlaczego oceny głównych składników nie są skorelowane?

Przypuśćmy, że jest macierzą danych skoncentrowanych na średnich. Macierz ma , ma różne wartości własne, a wektory własne , ... , które są ortogonalne. $\mathbf A$ $\mathbf S=\text{cov}(\mathbf A)$ $m\times m$ $m$ $\mathbf s_1$ $\mathbf s_2$ $\mathbf s_m$

-tego główny składnik (niektórzy nazywają je "wyniki") jest wektor . Innymi słowy, jest to liniowa kombinacja kolumn , gdzie współczynniki Składniki -tym wektor własny . $i$ $\mathbf z_i = \mathbf A\mathbf s_i$ $\mathbf A$ $i$ $\mathbf S$

Nie rozumiem, dlaczego i okazują się nieskorelowane ze wszystkimi . Czy wynika to z faktu, że i są ortogonalne? Na pewno nie, ponieważ mogę łatwo znaleźć macierz i parę wektorów ortogonalnych takie, że i są skorelowane. $\mathbf z_i$ $\mathbf z_j$ $i\neq j$ $\mathbf s_i$ $\mathbf s_j$ $\mathbf B$ $\mathbf x, \mathbf y$ $\mathbf B\mathbf x$ $\mathbf B\mathbf y$

correlation pca linear-algebra

— Ernest A.
źródło

Powiązana odpowiedź stats.stackexchange.com/a/110546/3277 .

— ttnphns

z_{i}^{⊤} z_{j} = (A s_{i})^{⊤} (A s_{j}) = s_{i}^{⊤} A^{⊤} A s_{j} = (n - 1) s_{i}^{⊤} S s_{j} = (n - 1) s_{i} λ_{j} s_{j} = (n - 1) λ_{j} s_{i} s_{j} = 0.

$\mathbf z_i^\top \mathbf z_j = (\mathbf A\mathbf s_i)^\top (\mathbf A\mathbf s_j) = \mathbf s_i^\top \mathbf A^\top \mathbf A \mathbf s_j = (n-1) \mathbf s_i^\top \mathbf S \mathbf s_j = (n-1) \mathbf s_i \lambda_j \mathbf s_j = (n-1) \lambda_j \mathbf s_i \mathbf s_j = 0.$

— ameba
źródło

Matematyka: co za piękny język.

— Néstor

Oznacza to, że i są ortogonalne. Nieskorelowany oznacza, że musi to być prawda: . Przypuszczam, że jakoś , a następnie również implikuje, że są nieskorelowane.

z_{i}

$\mathbf z_i$

z_{j}

$\mathbf z_j$

(z_{i} - {\bar{z}}_{i})^{⊤} (z_{j} - {\bar{z}}_{j}) = 0

$(\mathbf z_i-\bar z_i)^\top(\mathbf z_j-\bar z_j)=0$

{\bar{z}}_{i} = {\bar{z}}_{j} = 0

$\bar z_i=\bar z_j=0$

z_{i}^{⊤} z_{j} = 0

$\mathbf z_i^\top \mathbf z_j=0$

— Ernest A

Dobra uwaga, @Ernest. Średnie są rzeczywiście zerowe, ponieważ dane zostały wyśrodkowane na średnich (zgodnie z twoim założeniem). Wtedy wszystkie prognozy muszą mieć średnią zero.

— ameba

@Jubbles, ponieważ , dlatego .

S = cov (A) = \frac{1}{n - 1} A^{⊤} A

$S = \text{cov}(\mathbf A) = \frac{1}{n-1}\mathbf A^\top \mathbf A$

A^{⊤} A = (n - 1) S

$\mathbf A^\top \mathbf A = (n-1) \mathbf S$

— Ernest A

@Ernest, nie mogłem się powstrzymać przed udzieleniem odpowiedzi nie zawierającej tekstu, ale być może powinienem dodać, że podstawowym powodem, dla którego komputery PC są nieskorelowane, jest to, że ich macierz kowariancji jest podana przez w podstawie wektorów własnych, a na tej podstawie staje się przekątna - - o to właśnie chodzi w składzie eigend.

S

$S$

S

$S$

— ameba