Czy istnieje intuicyjna interpretacja

Dla danej macierzy danych (ze zmiennymi w kolumnach i punktami danych w wierszach) wydaje się, że A T A odgrywa ważną rolę w statystyce. Na przykład jest to ważna część analitycznego rozwiązania zwykłych najmniejszych kwadratów. Lub, w przypadku PCA, jego wektory własne są głównymi składnikami danych.$A$$A^TA$

Rozumiem, jak obliczyć , ale zastanawiałem się, czy istnieje intuicyjna interpretacja tego, co reprezentuje ta macierz, co prowadzi do jej ważnej roli?$A^TA$

Geometrycznie macierz nazywa się macierzą produktów skalarnych (= iloczyn skalarny, = iloczyn wewnętrzny). Algebraicznie nazywana jest macierzą sumy kwadratów i produktów krzyżowych ( SSCP ).$\bf A'A$

Jego -ty element przekątny jest równy ∑ a 2 ( i ) , gdzie a ( i ) oznacza wartości w i- tej kolumnie A, a ∑ jest sumą między wierszami. I j -tego elementu niediagonalnego nich jest Σ ( I ) ( J ) .$i$$\sum a_{(i)}^2$$a_{(i)}$$i$$\bf A$$\sum$$ij$$\sum a_{(i)}a_{(j)}$

Istnieje wiele ważnych współczynników asocjacji, a ich macierze kwadratowe nazywane są podobieństwami kątowymi lub podobieństwami typu SSCP:

• Dzieląc macierz SSCP przez , wielkość próbki lub liczbę wierszy A , otrzymujemy macierz MSCP (średni kwadrat i iloczyn krzyżowy). Stąd parowa formuła tej miary asocjacji wynosi ∑ x $n$$\bf A$ (wektoramixiyjest para kolumn zA).$\frac{\sum xy}{n}$$x$$y$$\bf A$

• Jeśli wyśrodkujesz kolumny (zmienne) , to A ' A jest macierzą rozproszenia (lub współrozproszeniem, jeśli ma być rygorystycznym), a A ' A / ( n - 1 ) jest macierzą kowariancji . Parowa formuła kowariancji to ∑ c x c $\bf A$$\bf A'A$$\mathbf {A'A}/(n-1)$ zcxicyoznaczającymi wyśrodkowane kolumny.$\frac{\sum c_xc_y}{n-1}$$c_x$$c_y$

• Jeśli z- standaryzujesz kolumny (odejmujesz średnią kolumny i dzielisz przez odchylenie standardowe), to A ' A / ( n - 1 ) jest macierzą korelacji Pearsona : korelacja jest kowariancją dla zmiennych standaryzowanych. Formuła korelacji parami jest ∑ z x z $\bf A$$\mathbf {A'A}/(n-1)$ zzxizyoznacza standardowe kolumny. Korelacja nazywana jest również współczynnikiem liniowości.$\frac{\sum z_xz_y}{n-1}$$z_x$$z_y$

• Jeśli dodasz kolumny A w skali jednostkowej (doprowadzisz ich SS, sumę kwadratów, do 1), to A ′ A jest macierzą podobieństwa cosinus . Równoważnik parami wzór wydaje się zatem być Σ u x u Y = Σ x y$\bf A$$\bf A'A$ zUxiuYoznaczający L2 znormalizowane kolumny. Podobieństwo cosinus jest również nazywane współczynnikiem proporcjonalności.$\sum u_xu_y = \frac{\sum{xy}}{\sqrt{\sum x^2}\sqrt{\sum y^2}}$$u_x$$u_y$

• Jeśli wyśrodkujesz, a następnie w skali jednostkowej kolumny , to A ′ A jest ponownie macierzą korelacji Pearsona , ponieważ korelacja jest cosinus dla zmiennych centrowanych 1 , 2 : ∑ c u x c u y = ∑ c x c $\bf A$$\bf A'A$$^{1,2}$$\sum cu_xcu_y = \frac{\sum{c_xc_y}}{\sqrt{\sum c_x^2}\sqrt{\sum c_y^2}}$

Oprócz tych czterech głównych środków asocjacyjnych wspomnijmy także o kilku innych, również opartych na , na dodatek. Można je postrzegać jako miary alternatywne do podobieństwa cosinusowego, ponieważ przyjmują inną niż normalizacja normę, mianownik we wzorze:$\bf A'A$

• Współczynnik tożsamości [Zegers & ten Berge, 1985] ma mianownik w postaci średniej arytmetycznej zamiast średniej geometrycznej: . Może to być 1 wtedy i tylko wtedy, gdy porównywane kolumnyAsą identyczne.$\frac{\sum{xy}}{(\sum x^2+\sum y^2)/2}$$\bf A$

• Kolejny współczynnik użyteczny, taki jak ten, nazywa się współczynnikiem podobieństwa : .$\frac{\sum{xy}}{\sum x^2 + \sum y^2 -\sum {xy}} = \frac{\sum{xy}}{\sum {xy} + \sum {(x-y)^2}}$

• Wreszcie, jeśli wartości w są nieujemne, a ich suma w kolumnach wynosi 1 (np. Są proporcjami), to $\bf A$ jest matrycąwiernościlubwspółczynnikiemBhattacharyya.$\bf \sqrt {A}'\sqrt A$

$^1$$\bf A'A$$\bf s$$\bf A$$n$$\bf C = A'A-s's/ \it n$$\mathbf C/(n-1)$$\bf C$$\bf d$$\bf R=C/\sqrt{d'd}$

$^2$$n$ (z wyjątkiem obliczania średniej, do środka).

$A^TA$$A$$A$

$A$$A^TA = I$ $-$

@NRH dał dobrą odpowiedź techniczną.

$A^TA$$A^2$

$A'A$$m \times n$$A: R^n \rightarrow R^m$$A$

$(A'A): R^n \rightarrow R^n$$\{e_1,..., e_n\}$$d_1,\ldots,d_k$

$(A'A)(x_1e_1 + \ldots + x_ne_n) = d_1x_1e_1 + ... + d_kx_ke_k$

(b) Zakres (A) = Col (A), z definicji Col (A). A więc A | Row (A) mapuje Row (A) na Col (A).

$Av'= 0 \iff \text{v is in Kernel(A)} \iff v \text{is in orthogonal complement of Row(A)}$

$A(R^n)=A(\text{Row}(A))$$A|\text{Row(A)}:\text{Row(A)} \rightarrow Col(A)$

Reason: If v = r+k (r \in Row(A), k \in Kernel(A),from (c)) then
A(v) = A(r) + 0 = A(r) where A(r) = 0 <==> r = 0$.

[Nawiasem mówiąc, daje dowód, że Ranga rzędu = Ranga kolumny!]

$A'|:Col(A)=\text{Row(A)} \rightarrow \text{Col(A')}=\text{Row(A)}$

$A'A(R^n) = \text{Row(A)}$

$\textbf{A}^T\textbf{A}$

$\textbf{A}^T$$\textbf{A}$$row_p$$\textbf{A}^T$$col_p$$\textbf{A}$$dot(row_p, col_p)$$(p,p)$$\textbf{A}^T \textbf{A}$

$p$$\textbf{A}^T$$k$$\textbf{A}$$dot(row_p, col_k)$$(p,k)$

$(p, k)$$\textbf{A}^T\textbf{A}$$row_p$$col_k$$row_i$$col_j$$row_i$$col_j$, i wzajemnie.

$\textbf{A}$$i$$j \neq i$

$x\to E[x^2]$$A\to A^TA$

$x$$x_i$

$x$

$\sigma^2=E[x^2]$$A^TA$$A^TA$