W jakich dokładnie warunkach regresja kalenicy jest w stanie zapewnić poprawę w stosunku do zwykłej regresji metodą najmniejszych kwadratów?

Regresja grzbietu szacuje parametry w modelu liniowym według gdzie jest parametrem regularyzacji. Dobrze wiadomo, że często działa lepiej niż regresja OLS (z ), gdy istnieje wiele skorelowanych predyktorów. $\boldsymbol \beta$ $\mathbf y = \mathbf X \boldsymbol \beta$

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y,

$\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y,$

λ

$\lambda$

λ = 0

$\lambda=0$

Twierdzenie o istnieniu regresji grzbietu mówi, że zawsze istnieje parametr $\lambda^* > 0$ taki, że błąd średniej kwadratowej $\hat{\boldsymbol \beta}_\lambda$ jest ściśle mniejszy niż błąd średniej kwadratowej OLS szacowanie $\hat{\boldsymbol \beta}_\mathrm{OLS}=\hat{\boldsymbol \beta}_0$ . Innymi słowy, optymalna wartość $\lambda$ jest zawsze niezerowa. Najprawdopodobniej zostało to udowodnione po raz pierwszy w Hoerl i Kennard, 1970 i zostało powtórzone w wielu notatkach z wykładów, które znajduję w Internecie (np. Tutaj i tutaj ). Moje pytanie dotyczy założeń tego twierdzenia:

Czy są jakieś założenia dotyczące macierzy kowariancji $\mathbf X^\top \mathbf X$ ?
Czy są jakieś założenia dotyczące wymiarowości $\mathbf X$ ?

W szczególności, czy twierdzenie jest nadal prawdziwe, jeśli predyktory są ortogonalne (tj. $\mathbf X^\top \mathbf X$ jest przekątna), a nawet jeśli $\mathbf X^\top \mathbf X=\mathbf I$ ? I czy nadal jest to prawdą, jeśli istnieje tylko jeden lub dwa predyktory (powiedzmy jeden predyktor i przechwytywanie)?

Jeśli twierdzenie nie przyjmuje takich założeń i pozostaje prawdziwe nawet w tych przypadkach, to dlaczego regresja kalenicy jest zwykle zalecana tylko w przypadku skorelowanych predyktorów i nigdy (?) Nie jest zalecana dla prostej (tzn. Nie wielokrotnej) regresji?

Jest to związane z moim pytaniem dotyczącym ujednoliconego poglądu na skurcz: jaka jest relacja (jeśli występuje) między paradoksem Steina, regresją grzbietu i efektami losowymi w modelach mieszanych? , ale do tej pory brak odpowiedzi wyjaśniających ten punkt.

regression ridge-regression shrinkage

— ameba mówi Przywróć Monikę
źródło

Wydaje się, że wszystkie z wyjątkiem ostatniego pytania są bezpośrednio poruszone w pracy Hoerla i Kennarda, szczególnie w pierwszym zdaniu Wstępu i pierwszym zdaniu Wniosków. Na ostatnie pytanie można odpowiedzieć, zauważając, że kowariancja między stałym wektorem a dowolnym pojedynczym predyktorem wynosi zawsze zero, co pozwala jednemu (w standardowy sposób) zredukować do macierzy .

X^{'} X

$\mathbf{X^\prime X}$

1 \times 1

$1\times 1$

— whuber

Dzięki, @whuber. Wierzę, że papier Hoerla i Kennarda odpowiada na moje pytania (przynajmniej te techniczne) - należy być w stanie śledzić dowód i sprawdzić założenia (jeszcze tego nie zrobiłem). Ale zdania, do których się odwołujesz, nie są do końca przekonane. W jaki sposób pierwsze zdanie wstępu odnosi się do mojego pytania? Pierwsze zdanie Konkluzji sugeruje, że jeśli ma jednolite spektrum (np. Jest równe ), to twierdzenie nie ma zastosowania. Ale nie jestem w 100% pewien, ponieważ nie widzę tego założenia wyraźnie wyrażonego przed dowodem.

X^{⊤} X

$\mathbf X^\top \mathbf X$

I

$\mathbf I$

— ameba mówi Przywróć Monikę

Zobacz, jakie pytania mogą zadawać użytkownicy o wysokich przedstawicielach (którzy zazwyczaj tylko na nie udzielają odpowiedzi ) (i podobnie w przypadku innego powiązanego pytania, które przysłało mi tutaj stats.stackexchange.com/questions/122062/… !

— javadba,

Odpowiedź na zarówno 1, jak i 2 brzmi „nie”, ale należy interpretować twierdzenie o istnieniu.

Wariancja Ridge Estimator

Niech będzie oszacowaniem grzbietu pod karą , i niech będzie prawdziwym parametrem dla modelu . Niech będą wartościami własnymi . Zgodnie z równaniami Hoerla i Kennarda 4.2–4.5 ryzyko (pod względem oczekiwanej normy błędu ) wynosi $\hat{\beta^*}$ $k$ $\beta$ $Y = X \beta + \epsilon$ $\lambda_1, \dotsc, \lambda_p$ $X^T X$
$L^2$

\begin{aligned} E ({[\hat{β^{*}} - β]}^{T} [\hat{β^{*}} - β]) & = σ^{2} \sum_{j = 1}^{p} λ_{j} / {(λ_{j} + k)}^{2} + k^{2} β^{T} {(X^{T} X + k I_{p})}^{- 2} β \\ = γ_{1} (k) + γ_{2} (k) \\ = R (k) \end{aligned}

$\begin{align*} E \left( \left[ \hat{\beta^*} - \beta \right]^T \left[ \hat{\beta^*} - \beta \right] \right)& = \sigma^2 \sum_{j=1}^p \lambda_j/ \left( \lambda_j +k \right)^2 + k^2 \beta^T \left( X^T X + k \mathbf{I}_p \right)^{-2} \beta \\ & = \gamma_1 (k) + \gamma_2(k) \\ & = R(k) \end{align*}$ gdzie, o ile wiem, że ma interpretację wariancji wewnętrznego produktu , podczas gdy jest wewnętrznym produktem błędu.

{(X^{T} X + k I_{p})}^{- 2} = {(X^{T} X + k I_{p})}^{- 1} {(X^{T} X + k I_{p})}^{- 1} .

$\left( X^T X + k \mathbf{I}_p \right)^{-2} = \left( X^T X + k \mathbf{I}_p \right)^{-1} \left( X^T X + k \mathbf{I}_p \right)^{-1}.$

γ_{1}

$\gamma_1$

\hat{β^{*}} - β

$\hat{\beta^*} - \beta$

γ_{2}

$\gamma_2$

Załóżmy, że , a następnie Niech będzie pochodną ryzyka w / r / t . Ponieważ , dochodzimy do wniosku, że istnieje pewne takie, że $X^T X = \mathbf{I}_p$

R (k) = \frac{p σ^{2} + k^{2} β^{T} β}{(1 + k)^{2}} .

$R(k) = \frac{p \sigma^2 + k^2 \beta^T \beta}{(1+k)^2}.$

R^{'} (k) = 2 \frac{k (1 + k) β^{T} β - (p σ^{2} + k^{2} β^{T} β)}{(1 + k)^{3}}

$R^\prime (k) = 2\frac{k(1+k)\beta^T \beta - (p\sigma^2 + k^2 \beta^T \beta)}{(1+k)^3}$

k

$k$

lim_{k \to 0^{+}} R^{'} (k) = - 2 p σ^{2} < 0

$\lim_{k \rightarrow 0^+} R^\prime (k) = -2p \sigma^2 < 0$

k^{*} > 0

$k^*>0$

R (k^{*}) < R (0)

$R(k^*)<R(0)$ .

Autorzy zauważają, że ortogonalność jest najlepsza, na jaką możesz liczyć pod względem ryzyka przy , oraz że wraz ze wzrostem liczby warunków , podejścia $k=0$ $X^T X$ $\lim_{k \rightarrow 0^+} R^\prime (k)$ $- \infty$ .

Komentarz

Wydaje się, że istnieje tu paradoks, że jeśli i są stałe, to po prostu szacujemy średnią z sekwencji zmiennych Normal i znamy szacunek bezstronny waniliowy jest dopuszczalne w tym przypadku. Rozwiązuje się to, zauważając, że powyższe rozumowanie stanowi jedynie, że dla ustalonego istnieje minimalizująca wartość . Ale dla każdego możemy zwiększyć ryzyko, powodując, że duży, więc sam ten argument nie pokazuje dopuszczalności oszacowania grzbietu. $p=1$ $X$ $(\beta, \sigma^2)$ $k$ $\beta^T \beta$ $k$ $\beta^T \beta$

Dlaczego regresja kalenicy jest zwykle zalecana tylko w przypadku skorelowanych predyktorów?

Wyprowadzenie ryzyka przez H&K pokazuje, że jeśli uważamy, że jest mała, a jeśli konstrukcja jest prawie pojedyncza, to możemy osiągnąć duże zmniejszenie ryzyka oszacowania. Myślę, że regresja kalenicy nie jest powszechnie stosowana, ponieważ oszacowanie OLS jest bezpieczną wartością domyślną, a właściwości niezmienności i bezstronności są atrakcyjne. Kiedy zawiedzie, to zawiedzie szczerze - twoja macierz kowariancji eksploduje. Być może istnieje również punkt filozoficzny / wnioskowy, że jeśli twój projekt jest prawie osobliwy i masz dane obserwacyjne, wówczas podejrzenie interpretacji jako zmiany dla zmian jednostkowych w jest podejrzane - duża macierz kowariancji jest objaw tego. $\beta ^T \beta$ $X^T X$ $\beta$ $E Y$ $X$

Ale jeśli twoim celem jest wyłącznie przewidywanie, obawy wnioskowania przestają obowiązywać i masz mocny argument za użyciem pewnego rodzaju estymatora skurczu.

— Andrew M.
źródło

Wow, dzięki! Pozwól, że sprawdzę moje rozumienie twojej sekcji „Komentarz”: dla każdego optymalne jest niezerowe, ale jego wartość jest różna dla różnych bet, a żadne ustalone może pokonać dla wszystkich bet, czyli co jest potrzebne do dopuszczalności. Poprawny? Poza tym, czy mógłbyś skomentować moje ogólne pytanie: [Jeśli twierdzenie nie przyjmuje takich założeń, to] dlaczego regresja kalenicy jest zwykle zalecana tylko dla skorelowanych predyktorów, a nigdy nie jest zalecana dla prostej (nie wielokrotnej) regresji? Czy to dlatego, że pozytywny efekt jest empirycznie znany jako zbyt mały, aby przeszkadzać?

β

$\beta$

k

$k$

k

$k$

k = 0

$k=0$

— ameba mówi Przywróć Monikę

H&K konsekwentnie zakłada, że ma pełną rangę. Stwierdzając, że odpowiedź na pytanie nr 1 brzmi „nie”, czy twierdzisz, że ich wyniki są nadal prawdziwe, gdy tak nie jest?

X^{'} X

$X^\prime X$

— whuber

@ whuber: Najważniejsze dla ich wyliczenia ryzyka jest to, że szacunek grzbietu , gdzie jest oszacowaniem OLS, a . To oczywiście nie może się utrzymywać, gdy ma niedobór rang. Ale szacunek OLS nie istnieje - więc być może z jakiegokolwiek oszacowania ryzyka skończonych (wziąć wystarczająco duże, a dostaniesz , z ryzykiem ) jest lepsza niż estymator, który nie istnieje? O ile nadal istnieje wyliczenie ryzyka: nie jestem pewien. Potrzebny byłby inny dowód.

\hat{β^{*}} = Z \hat{β}

$\hat{\beta^*} = Z \hat{\beta}$

\hat{β}

$\hat{\beta}$

Z = {((X^{T} X)^{- 1} + k I_{p})}^{- 1}

$Z = \left( (X^TX)^{-1} + k I_p \right)^{-1}$

X^{T} X

$X^TX$

k

$k$

\hat{β^{*}} \approx 0

$\hat{\beta^*} \approx 0$

β^{T} β

$\beta^T \beta$

— Andrew M,

@amoeba: tak, twoja poprawka wydaje się poprawna. Aby zdominować estymator OLS, potrzebujemy pewnego rodzaju procedury adaptacyjnej , w której jest funkcją danych. W drugim wątku Xi'an skomentował adaptacyjne oszacowanie grzbietu, więc może to być miejsce, w którym można zajrzeć. RE: szacunki grzbietu dla projektów ortogonalnych - dodałem kolejny komentarz w zakresie wskazówek, które wyciągnąłem z ich dowodu.

λ

$\lambda$

— Andrew M,