Jak znaleźć współczynniki regresji w regresji kalenicowej?

W regresji grzbietu funkcją celu, którą należy zminimalizować, jest:

RSS + λ \sum β_{j}^{2} .

$\text{RSS}+\lambda \sum\beta_j^2.$

Czy można to zoptymalizować za pomocą metody mnożnika Lagrange'a? Czy jest to proste różnicowanie?

regression regularization ridge-regression

— Minaj
źródło

Jaki jest związek między tytułem (który koncentruje się na ) a pytaniem (które wydaje się dotyczyć tylko )? Obawiam się, że „optymalizacja” mogłaby mieć wyraźnie różne interpretacje w zależności od tego, które zmienne są uważane za te, które można zmieniać, a które należy naprawić.

λ

$\lambda$

β_{j}

$\beta_j$

— whuber

dzięki zmodyfikował pytanie. Czytałem, że została znaleziona przez krzyżową weryfikację - ale uważam, że oznacza to, że masz już i używasz różnych danych, aby znaleźć najlepsze Pytanie brzmi - jak znaleźć w pierwsze miejsce, gdy jest nieznana?

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

— Minaj

Istnieją dwa sformułowania dotyczące problemu kalenicy. Pierwszy to

β_{R} = \underset{β}{argmin} {(y - X β)}^{'} (y - X β)

$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)$

z zastrzeżeniem

\sum_{j} β_{j}^{2} \leq s .

$\sum_{j} \beta_j^2 \leq s.$

Ta formuła pokazuje ograniczenie wielkości współczynników regresji. Zwróć uwagę na to, co oznacza to ograniczenie; zmuszamy współczynniki do położenia się w kulce wokół początku o promieniu . $\sqrt{s}$

Drugi przepis to dokładnie twój problem

β_{R} = \underset{β}{argmin} {(y - X β)}^{'} (y - X β) + λ \sum β_{j}^{2}

$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right) + \lambda \sum\beta_j^2$

który może być postrzegany jako formuła mnożnika Largrange. Zauważ, że tutaj jest parametrem tuningowym, a jego większe wartości doprowadzą do większego skurczu. Możesz przystąpić do różnicowania wyrażenia w odniesieniu do i uzyskać dobrze znany estymator grzbietu $\lambda$ $\boldsymbol{\beta}$

\begin{matrix} (1) & β_{R} = {(X^{'} X + λ I)}^{- 1} X^{'} y \end{matrix}

$\boldsymbol{\beta}_{R} = \left( \mathbf{X}^{\prime} \mathbf{X} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} \tag{1}$

Te dwie formuły są całkowicie równoważne , ponieważ istnieje zgodność jeden do jednego między i . $s$ $\lambda$

Pozwól mi trochę rozwinąć. Wyobraź sobie, że jesteś w idealnym ortogonalnym przypadku, . Jest to bardzo uproszczona i nierealistyczna sytuacja, ale możemy dokładniej zbadać estymator, więc proszę o wyrozumiałość. Zastanów się, co dzieje się z równaniem (1). Estymator grzbietu zmniejsza się do $\mathbf{X}^{\prime} \mathbf{X} = \mathbf{I}$

β_{R} = {(I + λ I)}^{- 1} X^{'} y = {(I + λ I)}^{- 1} β_{O L S}

$\boldsymbol{\beta}_R = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \boldsymbol{\beta}_{OLS}$

podobnie jak w przypadku ortogonalnym estymator OLS podaje . Patrząc na ten składnik teraz otrzymujemy $\boldsymbol{\beta}_{OLS} = \mathbf{X}^{\prime} \mathbf{y}$

\begin{matrix} (2) & β_{R} = \frac{β_{O L S}}{1 + λ} \end{matrix}

$\beta_R = \frac{\beta_{OLS}}{1+\lambda} \tag{2}$

Zauważ, że teraz skurcz jest stały dla wszystkich współczynników. Może to nie mieć miejsca w ogólnym przypadku i rzeczywiście można wykazać, że skurcze będą się znacznie różnić, jeśli w macierzy występują różnice . $\mathbf{X}^{\prime} \mathbf{X}$

Wróćmy jednak do ograniczonego problemu optymalizacji. Przez teorię KKT , o konieczności warunek optymalności jest

λ (\sum β_{R, j}^{2} - s) = 0

$\lambda \left( \sum \beta_{R,j} ^2 -s \right) = 0$

więc albo lub (w tym przypadku mówimy, że ograniczenie jest wiążące). Jeśli nie ma kary i wróciliśmy do normalnej sytuacji OLS. Załóżmy zatem, że ograniczenie jest wiążące i znajdujemy się w drugiej sytuacji. Korzystając ze wzoru w (2), mamy $\lambda = 0$ $\sum \beta_{R,j} ^2 -s = 0$ $\lambda = 0$

s = \sum β_{R, j}^{2} = \frac{1}{{(1 + λ)}^{2}} \sum β_{O L S, j}^{2}

$s = \sum \beta_{R,j}^2 = \frac{1}{\left(1 + \lambda \right)^2} \sum \beta_{OLS,j}^2$

skąd otrzymujemy

λ = \sqrt{\frac{\sum β_{O L S, j}^{2}}{s}} - 1

$\lambda = \sqrt{\frac{\sum \beta_{OLS,j} ^2}{s}} - 1$

poprzednio twierdzono, że istnieje relacja jeden do jednego. Oczekuję, że trudniej to ustalić w przypadku nieortogonalnym, ale wynik nie zmienia się.

Spójrz jeszcze raz na (2), a zobaczysz, że wciąż brakuje nam . Aby uzyskać jego optymalną wartość, możesz albo użyć weryfikacji krzyżowej, albo spojrzeć na ślad grzbietu. Druga metoda polega na zbudowaniu sekwencji w (0,1) i sprawdzeniu, jak zmieniają się szacunki. Następnie wybierz która je stabilizuje. Ta metoda została przy okazji zasugerowana w drugim z poniższych odnośników i jest najstarsza. $\lambda$ $\lambda$ $\lambda$

Bibliografia

Hoerl, Arthur E. i Robert W. Kennard. „Regresja Ridge'a: błędne oszacowanie problemów nieortogonalnych”. Technometrics 12.1 (1970): 55-67.

Hoerl, Arthur E. i Robert W. Kennard. „Regresja Ridge'a: zastosowania do nieortogonalnych problemów”. Technometrics 12.1 (1970): 69-82.

— JohnK
źródło

@ Regresja Minaj Ridge ma stały skurcz dla wszystkich współczynników (innych niż punkt przecięcia). Dlatego istnieje tylko jeden mnożnik.

— JohnK

@amoeba To jest sugestia Hoerla i Kennarda, ludzi, którzy wprowadzili regresję grzbietu w latach siedemdziesiątych. W oparciu o ich doświadczenie - i moje - współczynniki ustabilizują się w tym przedziale nawet przy ekstremalnych stopniach wielokoliniowości. Oczywiście jest to strategia empiryczna i dlatego nie gwarantuje się, że będzie działała przez cały czas.

— JohnK,

Możesz także wykonać metodę pseudoobserwacji i uzyskać szacunki z niczym bardziej skomplikowanym niż prosty program regresji metodą najmniejszych kwadratów. Możesz także zbadać efekt zmiany w podobny sposób.

λ

$\lambda$

— Glen_b

@amoeba To prawda, że grzbiet nie jest niezmienny w skali, dlatego powszechną praktyką jest wcześniejsza standaryzacja danych. Podałem odpowiednie referencje na wypadek, gdybyś chciał rzucić okiem. Są niezwykle interesujące i niezbyt techniczne.

— JohnK,

@JohnK w efekcie regresja kalenicy zmniejsza każdy o inną wartość, więc skurcz nie jest stały, mimo że istnieje tylko jeden parametr kurczenia .

β

$\beta$

λ

$\lambda$

— Frank Harrell,

Moja książka Regression Modeling Strategies zagłębia się w wykorzystanie skutecznego AIC do wyboru . Wynika to z prawdopodobieństwa zaryzykowanego dziennika i efektywnego stopnia swobody, przy czym ten ostatni jest funkcją tego, o ile wariancje są zmniejszone przez karanie. Prezentacja na ten temat jest tutaj . Pakiet R znajduje która optymalizuje efektywny AIC, a także dopuszcza wiele parametrów kary (np. Jeden dla głównych efektów liniowych, jeden dla głównych efektów nieliniowych, jeden dla efektów interakcji liniowych i jeden dla efektów interakcji nieliniowych). $\lambda$ $\hat{\beta}$ rmspentrace $\lambda$

— Frank Harrell
źródło

+1. Co sądzisz o używaniu pomijanego błędu CV, obliczonego według jawnej formuły (tj. Bez faktycznego wykonywania CV), do wybrania ? Czy masz pojęcie o tym, jak w praktyce porównuje się je do „skutecznego AIC”?

λ

$\lambda$

— ameba mówi Przywróć Monikę

Nie studiowałem tego. LOOCV wymaga wielu obliczeń.

— Frank Harrell,

Nie, jeśli użyto jawnej formuły: stats.stackexchange.com/questions/32542 .

— ameba mówi Przywróć Monikę

Ta formuła działa w szczególnym przypadku OLS, a nie w przypadku maksymalnego prawdopodobieństwa w ogóle. Ale istnieje przybliżona formuła wykorzystująca wartości resztkowe. Zdaję sobie jednak sprawę, że w tej dyskusji mówimy głównie o OLS.

— Frank Harrell,

Nie robię tego analitycznie, ale raczej numerycznie. Zazwyczaj rysuję RMSE vs. λ jako takie:

Rysunek 1. RMSE i stała λ lub alfa.

— Lennart
źródło

Czy to oznacza, że naprawiasz pewną wartość a następnie różnicujesz wyrażenie, aby znaleźć , po czym RMSE i robisz proces od nowa dla nowych wartości ?

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

— Minaj,