Dowód kurczenia się współczynników za pomocą regresji kalenicowej poprzez „rozkład widmowy”

Zrozumiałem, w jaki sposób regresja kalenicy zmniejsza geometrycznie współczynniki do zera. Co więcej, wiem, jak to udowodnić w specjalnym „przypadku ortonormalnym”, ale jestem zdezorientowany, jak to działa w przypadku ogólnym poprzez „rozkład widmowy”.

— jeza
źródło

Powiedziałeś, że jesteś zdezorientowany, ale jakie jest twoje pytanie?

— whuber

Wydaje się, że pytanie wymaga zademonstrowania, że regresja Ridge'a zmniejsza szacunki współczynnika do zera przy użyciu rozkładu widmowego. Rozkład widmowy można rozumieć jako łatwą konsekwencję rozkładu wartości osobliwych (SVD). Dlatego ten post zaczyna się od SVD. Wyjaśnia to w prosty sposób, a następnie ilustruje ważnymi aplikacjami. Następnie zapewnia żądaną (algebraiczną) demonstrację. (Algebra jest oczywiście identyczna z demonstracją geometryczną; jest po prostu ułożona w innym języku).

Oryginalne źródło tej odpowiedzi można znaleźć w notatkach z kursu regresji . Ta wersja poprawia drobne błędy.

Czym jest SVD

Dowolną macierz , przy , można zapisać gdzie $n\times p$ $X$ $p \le n$

X = U D V^{'}

$X = UDV^\prime$

$U$ jest macierzą . $n\times p$
- Kolumny mają długość . $U$ $1$
- Kolumny są wzajemnie ortogonalne. $U$
- Są one nazywane główne komponenty z . $X$
jestmacierzą . $V$ $p \times p$
- Kolumny mają długość . $V$ $1$
- Kolumny są wzajemnie prostopadłe. $V$
- Sprawia to, że jest obrót o . $V$ $\mathbb{R}^p$
jestdiagonalnąmacierzą . $D$ $p \times p$
- Elementy ukośne nie są ujemne. Są to pojedyncze wartości z . $d_{11}, d_{22}, \ldots, d_{pp}$ $X$
- Jeśli chcemy, możemy zamówić je od największego do najmniejszego.

Kryteria (1) i (2) twierdzą, że zarówno jak i są matrycami ortonormalnymi . Można je starannie podsumować według warunków $U$ $V$

U^{'} U = 1_{p}, V^{'} V = 1_{p} .

$U^\prime U = 1_p,\ V^\prime V = 1_p.$

W konsekwencji (że oznacza obrót), również . Zostanie to wykorzystane w poniższej pochodnej regresji Ridge. $V$ $VV^\prime = 1_p$

Co to dla nas robi

Może uprościć formuły. Działa to zarówno algebraicznie, jak i koncepcyjnie. Oto kilka przykładów.

Równania normalne

Rozważ regresję której, jak zwykle, są niezależne i identycznie rozmieszczone zgodnie z prawem, które ma zerowe oczekiwanie i skończoną wariancję . Najmniej roztwór kwadratów przez zwykłą równań Zastosowanie SVD i uproszczenie powstałego bałaganu algebraicznego (co jest łatwe) zapewnia dobry wgląd: $y = X\beta + \varepsilon$ $\varepsilon$ $\sigma^2$

\hat{β} = (X^{'} X)^{- 1} X^{'} y .

$\hat\beta = (X^\prime X)^{-1} X^\prime y.$

(X^{'} X)^{- 1} X^{'} = ((U D V^{'})^{'} (U D V^{'}))^{- 1} (U D V^{'})^{'} = (V D U^{'} U D V^{'})^{- 1} (V D U^{'}) = V D^{- 2} V^{'} V D U^{'} = V D^{- 1} U^{'} .

$(X^\prime X)^{-1} X^\prime = ((UDV^\prime)^\prime (UDV^\prime))^{-1} (UDV^\prime)^\prime \\= (VDU^\prime U D V^\prime)^{-1} (VDU^\prime) = VD^{-2}V^\prime VDU^\prime = VD^{-1}U^\prime.$

Jedyna różnica między tym a polega na tym, że stosowane są odwrotności elementów ! Innymi słowy, „równanie” rozwiązuje się przez „odwrócenie” : ta pseudo-inwersja odwraca obroty i (jedynie przez ich transpozycję) i cofa mnożenie (reprezentowane przez ) oddzielnie w każdej zasadzie kierunek. $X^\prime = VDU^\prime$ $D$ $y=X\beta$ $X$ $U$ $V^\prime$ $D$

Dla odniesienia przyszłość zauważyć, że „obracać” przewidywany są liniowe kombinacje „obracać” odpowiedzi . Współczynniki są odwrotnymi (dodatnimi) diagonalnymi elementami , równymi . $V^\prime \hat\beta$ $U^\prime y$ $D$ $d_{ii}^{-1}$

Kowariancja szacunków współczynnika

Przypomnijmy, że kowariancja oszacowań jest Używając SVD, staje się to Innymi słowy, kowariancja działa jak zmienna ortogonalna , każda z wariancjami

Cov (\hat{β}) = σ^{2} (X^{'} X)^{- 1} .

$\text{Cov}(\hat\beta) = \sigma^2(X^\prime X)^{-1}.$

σ^{2} (V D^{2} V^{'})^{- 1} = σ^{2} V D^{- 2} V^{'} .

$\sigma^2(V D^2 V^\prime)^{-1} = \sigma^2 V D^{-2} V^\prime.$

k

$k$

d_{i i}^{2}

$d^2_{ii}$ , które zostały obrócone w

R^{k}

$\mathbb{R}^k$

Matryca Hat

H = X (X^{'} X)^{- 1} X^{'} .

$H = X(X^\prime X)^{-1} X^\prime.$

H = (U D V^{'}) (V D^{- 1} U^{'}) = U U^{'} .

$H = (UDV^\prime)(VD^{-1}U^\prime) = UU^\prime.$

Analiza własna (rozkład widmowy)

X^{'} X = V D U^{'} U D V^{'} = V D^{2} V^{'}

$X^\prime X = VDU^\prime U D V^\prime = VD^2V^\prime$

X X^{'} = U D V^{'} V D U^{'} = U D^{2} U^{'},

$XX^\prime = UDV^\prime VDU^\prime = UD^2U^\prime,$

$X^\prime X$ $XX^\prime$
$V$ $X^\prime X$
$U$ $X X^\prime$

SVD może diagnozować i rozwiązywać problemy kolinearności.

Zbliżanie regresorów

$UDV^\prime$ $U$ $y$

Regresja Ridge

$X$ $y$ $X$ $\lambda \gt 0$

\begin{aligned} {\hat{β}}_{R} & = (X^{'} X + λ)^{- 1} X^{'} y \\ = (V D^{2} V^{'} + λ 1_{p})^{- 1} V D U^{'} y \\ = (V D^{2} V^{'} + λ V V^{'})^{- 1} V D U^{'} y \\ = (V (D^{2} + λ) V^{'})^{- 1} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} V^{'} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} D U^{'} y . \end{aligned}

$\begin{aligned}\hat\beta_R &= (X^\prime X + \lambda)^{-1}X^\prime y \\ &= (VD^2V^\prime + \lambda\,1_p)^{-1}VDU^\prime y \\ &= (VD^2V^\prime + \lambda V V^\prime)^{-1}VDU^\prime y \\ &= (V(D^2 + \lambda)V^\prime)^{-1} VDU^\prime y \\ &= V(D^2+\lambda)^{-1}V^\prime V DU^\prime y \\ &= V(D^2 + \lambda)^{-1} D U^\prime y.\end{aligned}$

$\hat\beta$ $D^{-1} = D^{-2}D$ $(D^2+\lambda)^{-1}D$ $D^2/(D^2+\lambda)$ $\lambda \gt 0$

$V^\prime\hat\beta_R$ $U^\prime y$ $d_{ii}^{-1}$ $d_{ii}^2/(d_{ii}^2 + \lambda)$ $\lambda$ $\hat\beta_R$

$d_{ii}^{-1}$

— Whuber
źródło

@Glen_b To dobra uwaga: musiałem wyraźnie powiedzieć, jaki ułamek rozważałem! Naprawię to.

— whuber

U U^{'} = 1_{p}

$UU^\prime=1_p$

U

$U$

1

$1$

. (2)

\sqrt{1} = 1

$\sqrt{1}=1$

V V^{'} = 1_{p}

$VV^\prime=1_p$

V

$V$

V^{- 1}

$V^{-1}$

(V^{- 1})^{'} (V^{- 1}) = 1_{p}

$(V^{-1})^\prime(V^{-1})=1_p$

V^{- 1} = V^{'}

$V^{-1}=V^\prime$

V V^{'} = (V^{'})^{'} V^{'} = 1_{p}

$VV^\prime=(V^\prime)^\prime V^\prime=1_p$

@Vimal Dziękujemy za dobrą sugestię. W sekcji „Równania normalne” zamieściłem wyjaśnienie, w którym przedstawiono model regresji.

— whuber

X

$X$

V D U^{'} = X^{'} = X = U D V^{'} .

$VDU^\prime=X^\prime=X=UDV^\prime.$

U = V

$U=V$

X

$X$

\hat{y}

$\hat{y}$