Dlaczego ślad

W modelu możemy oszacować przy użyciu równania normalnego ：${y} = X \beta + \epsilon$$\beta$

$$\hat{\beta} = (X'X)^{-1}X'y,$$ i moglibyśmy dostać $$\hat{y} = X \hat{\beta}.$$

Wektor reszt szacowany jest przez

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$$

gdzie

$$Q = I - X (X'X)^{-1} X'.$$

Moje pytanie brzmi: jak dojść do wniosku

$$\textrm{tr}(Q) = n - p.$$

Wniosek liczy jedynie wymiary przestrzeni wektorowych. Jednak ogólnie nie jest to prawdą.

Najbardziej podstawowe właściwości mnożenia macierzy pokazują, że transformacja liniowa reprezentowana przez macierz spełnia$\mathbb{H}=X(X^\prime X)^{-}X^\prime$

$$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$$

pokazując go jako operator projekcji . Dlatego jego uzupełnienie

$$\mathbb{Q} = 1 - \mathbb{H}$$

(jak podano w pytaniu) jest również operatorem rzutowania. Ślad to jego ranga (patrz poniżej), skąd ślad jest równy . h Q n - $\mathbb{H}$$h$$\mathbb{Q}$$n-h$

Z samej jego formuły wynika, że jest macierzą związaną ze składem dwóch transformacji liniowych i samoPierwszy ( ) przekształca wektor w wektor . Drugi ( ) to transformacja z do podana przez . Jego ranga nie może przekraczać mniejszego z tych dwóch wymiarów, który w ustawieniu co najmniej kwadratów jest zawsze (ale może być mniejszy niżJ = ( X ′ X ) - X ′ X $\mathbb{H}$

$$\mathbb{J}=(X^\prime X)^{-}X^\prime$$ $X$$\mathbb{J}$y $n$$y$$p$XRsRn y =x β PPJH=XJ$\hat\beta$$X$$\mathbb{R}^p$$\mathbb{R}^n$$\hat y = X\hat \beta$$p$$p$, ilekroć nie ma pełnej rangi). W związku z tym stopień w skład nie może przekroczyć stopień . Prawidłowy wniosek brzmi zatem$\mathbb{J}$$\mathbb{H}=X\mathbb{J}$$X$

J n ≥ tr ( Q ) ≥ n - p $\text{tr} (\mathbb{Q}) = n-p$ wtedy i tylko wtedy, gdy ma pełną rangę; i ogólnie . W pierwszym przypadku mówi się, że model jest „identyfikowalny” (dla współczynników ).$\mathbb{J}$$n \ge \text{tr} (\mathbb{Q}) \ge n-p$$\beta$

X ′$\mathbb{J}$ będzie miał pełną rangę wtedy i tylko wtedy, gdy jest odwracalny.$X^\prime X$

---

Interpretacja geometryczna

n $\mathbb{H}$ przedstawia rzut prostopadły z -vectors (reprezentuje „odpowiedź” lub „zmienną zależną”) na przestrzeni objętej przez kolumny (reprezentującymi „zmienne niezależne” lub „współzmienne”). Różnica pokazuje, jak rozłożyć dowolny wektor na sumę wektorów gdzie pierwszy można „przewidzieć” na podstawie a drugi jest do niego prostopadły. Gdy kolumny generują wymiarową przestrzeń (to znaczy nie są współliniowe),$n$$y$Q = 1 - H$X$$\mathbb{Q}=1-\mathbb{H}$$n$y = H ( y ) + Q ( y ) , X p X p H p Q n - p n - $y$

$$y = \mathbb{H}(y) + \mathbb{Q}(y),$$ $X$$p$$X$$p$$\mathbb{H}$ ma wartość a ranga wynosi , odzwierciedlając dodatkowe wymiary zmienności w odpowiedzi, które nie są reprezentowane w zmiennych niezależnych. Ślad daje wzór algebraiczny dla tych wymiarów.$p$$\mathbb{Q}$$n-p$$n-p$

---

Tło algebry liniowej

Operator występ na przestrzeni wektor (takie jak ) jest przekształcenie liniowe (Oznacza to, że endomorfizm z ) w taki sposób, . To sprawia, że ​​jego uzupełnienie jest operatorem projekcji, ponieważR n P : V → V V P 2 = P Q = 1 - $V$$\mathbb{R}^n$$\mathbb{P}:V\to V$$V$$\mathbb{P}^2=\mathbb{P}$$\mathbb{Q}=1-\mathbb{P}$

$$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$$

Wszystkie projekcje naprawiają każdy element ich obrazów, bo za każdym razem, gdy możemy napisać dla niektórych , wherecev = P ( w ) w ∈ V w = P ( v ) = P 2 ( v ) = P ( P ( v ) ) = P ( w ) $v\in \text{Im}(\mathbb{P})$$v = \mathbb{P}(w)$$w\in V$

$$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$$

Związane z żadnym endomorfizm z są dwie podprzestrzenie: jego jądra i jego obraz Każdy wektor można zapisać w postaci gdzie i . Możemy zatem zbudować podstawową dla dla której i . Kiedy V ker ( P ) = { v ∈ $\mathbb{P}$$V$ Im ( P ) = { v ∈

$$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$$ v ∈ V v = w + u w ∈ Im ( P ) u ∈ Ker ( P ) E $$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$$ $v\in V$ $$v = w+u$$ $w\in \text{Im}(\mathbb{P})$$u\in \text{Ker}(\mathbb{P})$V E ⊂ Ker ( $E \cup F$$V$F ⊂ Im ( P ) V P P E P F f f F f P f $E \subset \text{Ker}(\mathbb{P})$$F \subset \text{Im}(\mathbb{P})$$V$jest skończony-wymiarowy, macierz na tej podstawie będzie zatem miała formę bloku diagonalnego, z jednym blokiem (odpowiadającym działaniu na ) wszystkimi zerami i drugim (odpowiadającym działanie na ) równe przez macierz tożsamości , gdzie wymiar wynosi . Ślad jest sumą wartości na przekątnej i dlatego musi być równy . Ta liczba jest ranga z : wymiaru jej wizerunku.$\mathbb{P}$$\mathbb{P}$$E$$\mathbb{P}$$F$$f$$f$$F$$f$$\mathbb{P}$$f\times 1 = f$$\mathbb{P}$

Ślad jest równy śladowi (równemu , wymiarowi ) minus ślad . 1 n V $1-\mathbb{P}$$1$$n$$V$$\mathbb{P}$

Wyniki te można podsumować twierdzeniem, że ślad rzutu jest równy jego rangi.

@Dougal już udzielił odpowiedzi, ale oto kolejny, nieco prostszy.

Najpierw wykorzystajmy fakt, że . Otrzymujemy więc:Teraz jest tożsamość matrycy, tak . Wykorzystajmy teraz fakt, że , to znaczy ślad jest niezmienny w cyklicznych permutacjach. Mamy więc:Kiedy mnożymy przez , otrzymujemy macierz tożsamości , której ślad to . Otrzymujemy więc:$\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$

$$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$$ $I$$n \times n$$\tr(I) = n$$\tr(AB) = \tr(BA)$ $$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$$ $(X'X)^{-1}$$(X'X)$$p \times p$$p$ $$\tr(Q) = n - p.$$

$\newcommand\R{\mathbb R}$ Załóżmy, że i że ma pełną pozycję.$n \le p$$X$

Rozważmy zwarty rozkład pojedynczej wartości , gdzie jest przekątna, a mają (ale uwaga jest najwyżej więc nie może być ). Następnie Σ ∈ $X = U \Sigma V^T$$\Sigma \in \R^{p \times p}$$U \in \R^{n \times p}, V \in \R^{p \times p}$$U^T U = V^T V = V V^T = I_p$$U U^T$$p$$I_n$

$$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$$

Teraz istnieje macierz taka, że jest jednolity. Możemy napisać Ta forma pokazuje, że jest dodatnim półfinałem, a ponieważ jest to prawidłowy svd, a wartości osobliwe są kwadratem wartości własnych kwadratowej macierzy symetrycznej, mówi nam również, że ma wartości własne 1 (wielokrotności ) i 0 (wielokrotności ).$U_2 \in \R^{n \times n-p}$$U_n = \begin{bmatrix}U & U_2\end{bmatrix}$QQn-ppQn-

$$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$$ $Q$$Q$$n-p$$p$$Q$$n-p$.