Rozważam następujący model liniowy: y=Xβ+ϵ .
Wektor reszt szacowany jest przez
ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ
gdzie Q=I−X(X′X)−1X′ .
Zauważ, że (ślad jest niezmienny przy cyklicznej permutacji) i że Q ′ = Q = Q 2 . Wartości własne Q wynoszą zatem 0 i 1 (niektóre szczegóły poniżej). Zatem istnieje macierz jednostkowa V taka, że ( macierze można diagonalizować za pomocą macierzy jednolitych wtedy i tylko wtedy, gdy są one normalne ).tr(Q)=n−pQ′=Q=Q2Q01V
V′QV=Δ=diag(1,…,1n−p times,0,…,0p times)
Teraz niech ε .K=V′ϵ^
Od ε ~ N ( 0 , Ď 2 Q ) mamy K ~ N ( 0 , Ď 2 Δ ) , a zatem K n - s + 1 = ... = K n = 0 . A zatemϵ^∼N(0,σ2Q)K∼N(0,σ2Δ)Kn−p+1=…=Kn=0
∥K∥2σ2=∥K⋆∥2σ2∼χ2n−p
z .K⋆=(K1,…,Kn−p)′
Ponadto, ponieważ jest macierzą jednolitą, my również mamyV
∥ϵ^∥2=∥K∥2=∥K⋆∥2
A zatem
RSSσ2∼χ2n−p
Na koniec zauważ, że wynik ten implikuje
E(RSSn−p)=σ2
Ponieważ The minimal wielomianu o dzieli wielomian . Zatem wartości własne mieszczą się w zakresie od do . Ponieważ jest również sumą wartości własnych pomnożonych przez ich wielokrotność, musimy koniecznie mieć, że jest wartością własną o wielokrotności a zero jest wartością własną o wielokrotności .Q2−Q=0Qz2−zQ01tr(Q)=n−p1n−pp