Dlaczego regresja kalenicy nazywa się „kalenicą”, dlaczego jest potrzebna i co dzieje się, gdy przechodzi w nieskończoność?

Szacunkowy współczynnik regresji grzbietu to wartości, które minimalizują$\hat{\beta}^R$

$$\text{RSS} + \lambda \sum_{j=1}^p\beta_j^2.$$

Moje pytania to:

1. Jeśli , to widzimy, że powyższe wyrażenie redukuje się do zwykłego RSS. Co jeśli ? Nie rozumiem wyjaśnienia podręcznika dotyczącego zachowania współczynników.$\lambda = 0$$\lambda \to \infty$

2. Dlaczego, aby pomóc w zrozumieniu koncepcji danego terminu, nazywa się regresją RIDGE? (Dlaczego grzbiet?) A co mogło być nie tak ze zwykłą / powszechną regresją, że istnieje potrzeba wprowadzenia nowej koncepcji zwanej regresją grzbietu?

Twoje spostrzeżenia byłyby świetne.

Ponieważ prosisz o wgląd , zamierzam raczej dość intuicyjnie, niż matematycznie:

1. Zgodnie z pojęciami zawartymi w mojej odpowiedzi tutaj możemy sformułować regresję grzbietu jako regresję z danymi pozorowanymi, dodając obserwacje (w twoim sformułowaniu), gdzie , i dla . Jeśli napiszesz nowy RSS dla tego rozszerzonego zestawu danych, zobaczysz dodatkowe obserwacje, z których każdy dodaje wyraz formy , więc nowy RSS to oryginalny - a minimalizacja RSS w tym nowym, rozszerzonym zestawie danych jest tym samym, co minimalizacja kryterium regresji grzbietu.$p$$y_{n+j}=0$$x_{j,n+j}=\sqrt{\lambda}$$x_{i,n+j}=0$$i\neq j$$(0-\sqrt{\lambda}\beta_j)^2=\lambda\beta_j^2$$\text{RSS} + \lambda \sum_{j=1}^p\beta_j^2$

   Co możemy tu zobaczyć? Wraz ze wzrostem , każde dodatkowe rzuty mają jeden składnik, który rośnie, a więc wpływ tych punktów również wzrasta. Ciągną dopasowaną hiperpłaszczyznę do siebie. Następnie, gdy i odpowiadające jej składowe idą w nieskończoność, wszystkie zaangażowane współczynniki „spłaszczają się” do .$\lambda$$x$$\lambda$$x$$0$

   Oznacza to, że jak , kara będzie dominować w minimalizacji, więc s spadnie do zera. Jeśli punkt przecięcia nie jest karany (zwykły przypadek), model coraz bardziej kurczy się w kierunku średniej odpowiedzi.$\lambda\to\infty$$\beta$

2. Wyjaśnię intuicyjnie, dlaczego najpierw mówimy o grzebieniach (co również sugeruje, dlaczego jest to potrzebne), a następnie zajmę się krótką historią. Pierwszy jest dostosowany z mojej odpowiedzi tutaj :

   Jeśli występuje wielokoliniowość, pojawia się „grzbiet” w funkcji wiarygodności (prawdopodobieństwo jest funkcją ). To z kolei daje długą „dolinę” w RSS (od RSS = ).$\beta$$-2\log\mathcal{L}$

   Regresja grzbietu „naprawia” grzbiet - dodaje karę, która zmienia grzbiet w ładny szczyt w przestrzeni prawdopodobieństwa, równoważnie miłe obniżenie w kryterium, które minimalizujemy:

   
   [ Jaśniejszy obraz ]

   Rzeczywista historia tego imienia jest nieco bardziej skomplikowana. W 1959 r. AE Hoerl [1] wprowadził analizę grzbietu do metodologii powierzchni odpowiedzi i bardzo szybko [2] przystosował się do radzenia sobie z wielokoliniowością w regresji („regresja grzbietu”). Zobacz na przykład dyskusję RW Hoerla w [3], w której opisano wykorzystanie przez Hoerla (AE nie RW) wykresów konturowych powierzchni odpowiedzi * w określeniu, gdzie udać się w celu znalezienia lokalnych optymów (gdzie jeden kieruje się w górę grzbiet'). W przypadku problemów uwarunkowanych pojawia się problem bardzo długiego grzbietu, a spostrzeżenia i metodologia z analizy grzbietu są dostosowane do pokrewnego problemu z prawdopodobieństwem / RSS w regresji, powodując regresję grzbietu.

* przykłady wykresów konturowych powierzchni odpowiedzi (w przypadku odpowiedzi kwadratowej) można zobaczyć tutaj (ryc. 3.9-3.12).

Oznacza to, że „grzbiet” w rzeczywistości odnosi się do charakterystyki funkcji, którą próbowaliśmy zoptymalizować, a nie do dodania „grzbietu” (+ ve diagonalnej) do macierzy (więc podczas gdy regresja grzbietu dodaje się do przekątnej, nie dlatego nazywamy to regresją grzbietową.$X^TX$

Aby uzyskać dodatkowe informacje na temat potrzeby regresji grzbietu, zobacz pierwszy link w punkcie 2 listy powyżej.

---

Bibliografia:

[1]: Hoerl, AE (1959). Optymalne rozwiązanie wielu równań zmiennych. Postęp inżynierii chemicznej , 55 (11) 69–78.

[2]: Hoerl, AE (1962). Zastosowania analizy grzbietu do problemów regresji. Postęp inżynierii chemicznej , 58 (3) 54–59.

[3] Hoerl, RW (1985). Analiza Ridge 25 lat później. American Statistician , 39 (3), 186–192

1. Jeśli nasz okres kary będzie nieskończony dla każdego innego niż , więc to otrzymamy. Nie ma innego wektora, który dałby nam skończoną wartość funkcji celu.β β = $\lambda \rightarrow \infty$$\beta$$\beta = 0$

(Aktualizacja: proszę zobaczyć odpowiedź Glen_b. To nie jest właściwy historyczny powód!)

2. Wynika to z rozwiązania regresji grzbietu w notacji macierzowej. Rozwiązaniem okazuje się być Termin dodaje „grzbiet” do głównej przekątnej i gwarantuje, że uzyskana macierz jest odwracalna. Oznacza to, że w przeciwieństwie do OLS, zawsze znajdziemy rozwiązanie.λ $$\hat \beta = (X^TX + \lambda I)^{-1} X^TY.$$ $\lambda I$

Regresja kalenicy jest przydatna, gdy predyktory są skorelowane. W tym przypadku OLS może dawać dzikie wyniki z ogromnymi współczynnikami, ale jeśli zostaną ukarane, możemy uzyskać znacznie bardziej rozsądne wyniki. Ogólnie dużą zaletą regresji kalenicowej jest to, że rozwiązanie zawsze istnieje, jak wspomniano powyżej. Dotyczy to nawet przypadku, w którym , dla którego OLS nie może zapewnić (unikalnego) rozwiązania.$n < p$

Regresja grzbietu jest również wynikiem, gdy normalny przełożony zostanie umieszczony na wektorze .$\beta$

Oto bayesowskie podejście do regresji grzbietu: Załóżmy, że nasz poprzedni dla to . Zatem ponieważ [z założenia] mamy β ∼ N ( 0 , σ $\beta$(Y|X,β)∼N(Xβ,σ2In$\beta \sim N(0, \frac{\sigma^2}{\lambda}I_p)$$(Y|X, \beta) \sim N(X\beta, \sigma^2 I_n)$

$$\pi(\beta | y) \propto \pi(\beta) f(y|\beta)$$

$$\propto \frac{1}{(\sigma^2/\lambda)^{p/2}} \exp \left( -{\lambda \over 2\sigma^2} \beta^T\beta \right) \times \frac{1}{(\sigma^2)^{n/2}} \exp \left( \frac{-1}{2\sigma^2} ||y - X\beta||^2 \right)$$

$$\propto \exp \left( -{\lambda \over 2\sigma^2} \beta^T\beta - \frac{1}{2\sigma^2} ||y - X\beta||^2 \right).$$

Znajdźmy tryb tylny (moglibyśmy również spojrzeć na średnią tylną lub inne rzeczy, ale w tym celu przyjrzyjmy się trybowi, tj. Najbardziej prawdopodobnej wartości). Oznacza to, że chcemy co jest równoważne z

$$\max_{\beta \in \mathbb R^p} \ \exp \left( -{\lambda \over 2\sigma^2} \beta^T\beta - \frac{1}{2\sigma^2} ||y - X\beta||^2 \right)$$

$$\max_{\beta \in \mathbb R^p} \ -{\lambda \over 2\sigma^2} \beta^T\beta - \frac{1}{2\sigma^2} ||y - X\beta||^2$$ ponieważ jest ściśle monotoniczny, a to z kolei jest równoważne $\log$ $$\min_{\beta \in \mathbb R^p} ||y - X\beta||^2 + \lambda \beta^T\beta$$

który powinien wyglądać znajomo.

Widzimy zatem, że jeśli umieścimy normalny pierwszeństwo ze średnią 0 i wariancją na naszym wektorze , wartość która maksymalizuje tył jest estymatorem grzbietu. Zauważ, że traktuje to bardziej jako parametr częsty, ponieważ nie ma na nim wcześniejszego parametru, ale nie jest znane, więc nie jest to w pełni bayesowski.$\frac{\sigma^2}{\lambda}$$\beta$$\beta$$\sigma^2$

Edycja: zapytałeś o przypadek, w którym . Wiemy, że hiperpłaszczyzna w jest zdefiniowana przez dokładnie punktów. Jeśli prowadzimy regresję liniową, a to dokładnie interpolujemy nasze dane i otrzymujemy . Jest to rozwiązanie, ale jest okropne: nasza wydajność w zakresie przyszłych danych najprawdopodobniej będzie fatalna. Załóżmy teraz, że : nie ma już unikalnej hiperpłaszczyzny zdefiniowanej przez te punkty. Możemy zmieścić wiele hiperpłaszczyzn, każda z zerową sumą kwadratów.$n < p$$\mathbb R^p$$p$$n = p$$||y - X\hat\beta||^2 = 0$$n < p$

Bardzo prosty przykład: załóżmy, że . Następnie uzyskamy linię między tymi dwoma punktami. Załóżmy teraz, że ale . Wyobraź sobie samolot z tymi dwoma punktami. Możemy obrócić tę płaszczyznę bez zmiany faktu, że znajdują się w niej te dwa punkty, więc istnieje niezliczona ilość wszystkich modeli z idealną wartością naszej funkcji celu, więc nawet poza kwestią nadmiernego dopasowania nie jest jasne, który wybrać.$n = p = 2$$n = 2$$p = 3$

Jako komentarz końcowy (zgodnie z sugestią @ Gunga), LASSO (z zastosowaniem kary ) jest powszechnie stosowany w przypadku problemów o dużych wymiarach, ponieważ automatycznie dokonuje wyboru zmiennych (ustawia niektóre ). Co ciekawe, okazuje się, że LASSO odpowiada znalezieniu trybu tylnego przy użyciu podwójnego wykładniczego (aka Laplace'a) przed wektorem . LASSO ma także pewne ograniczenia, takie jak nasycanie predyktorami i niekoniecznie obchodzenie się z grupami skorelowanych predyktorów w idealny sposób, więc elastyczna siatka (wypukła kombinacja kar i ) może zostać wykorzystana.$L_1$$\beta_j = 0$$\beta$$n$$L_1$$L_2$