Pytania otagowane jako ridge-regression

Metoda regularyzacji modeli regresji, która zmniejsza współczynniki do zera.

1
Czy regresja z regularyzacją L1 jest taka sama jak Lasso, a z regularyzacją L2 jest taka sama jak regresja kalenicy? A jak napisać „Lasso”?
Jestem inżynierem oprogramowania uczącym się uczenia maszynowego, szczególnie poprzez kursy uczenia maszynowego Andrew Ng . Badając regresję liniową z regularyzacją , znalazłem terminy, które są mylące: Regresja z regularyzacją L1 lub regularyzacją L2 LASSO Regresja kalenicy Więc moje pytania: Czy regresja z regularyzacją L1 jest dokładnie taka sama jak LASSO? …
3
Interpretacja regularyzacji grzbietu w regresji
Mam kilka pytań dotyczących kary za kalenicę w kontekście najmniejszych kwadratów: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Wyrażenie to sugeruje, że macierz kowariancji X jest zmniejszona w kierunku macierzy diagonalnej, co oznacza, że ​​(zakładając, że zmienne są znormalizowane przed procedurą) korelacja między zmiennymi wejściowymi zostanie obniżona. Czy ta interpretacja …
2
Granica estymacji regresji grzbietu „wariancji jednostkowej”, gdy
Rozważ regresję kalenicową z dodatkowym ograniczeniem wymagającym, aby miał jednostkową sumę kwadratów (równoważnie wariancję jednostkową); w razie potrzeby można założyć, że ma również jednostkową sumę kwadratów:y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1. Jaki jest limit β^∗λβ^λ∗\hat{\boldsymbol\beta}_\lambda^* kiedy λ→∞λ→∞\lambda\to\infty ? Oto kilka …
2
zakres przedziałów ufności z regularnymi szacunkami
Załóżmy, że próbuję oszacować dużą liczbę parametrów na podstawie danych wielowymiarowych, używając pewnego rodzaju regularnych oszacowań. Regularizator wprowadza pewne szacunki do szacunków, ale nadal może być dobrym kompromisem, ponieważ zmniejszenie wariancji powinno więcej niż zrekompensować. Problem pojawia się, gdy chcę oszacować przedziały ufności (np. Używając aproksymacji Laplace'a lub ładowania początkowego). …
2
Jakie są założenia regresji grzbietu i jak je przetestować?
Rozważmy standardowy model regresji wielokrotnej gdzie , więc normalność, homoscedastyczność i nieskorelacja błędów pozostają w mocy.Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2)jan)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Załóżmy, że wykonujemy regresję grzbietu, dodając tę ​​samą niewielką ilość do wszystkich elementów przekątnej :XXX βr i d g e= [ X′X+ k …
2
Oszacowanie R-kwadrat i istotności statystycznej na podstawie modelu regresji karanej
Używam ukaranego pakietu R, aby uzyskać skurczone oszacowania współczynników dla zbioru danych, w którym mam dużo predyktorów i mało wiem, które z nich są ważne. Po wybraniu parametrów dostrajania L1 i L2 i jestem zadowolony z moich współczynników, czy istnieje statystycznie rozsądny sposób na podsumowanie dopasowania modelu z czymś w …
3
Związek między regresją kalenicową a regresją PCA
Pamiętam, że gdzieś w Internecie przeczytałem związek między regresją kalenicy (z regulacją ℓ2ℓ2\ell_2 ) a regresją PCA: podczas korzystania z regresji regulowanej z hiperparametrem , jeśli , to regresja jest równoważna usunięciu Zmienna PC o najmniejszej wartości własnej.ℓ2ℓ2\ell_2λλ\lambdaλ→0λ→0\lambda \to 0 Dlaczego to prawda? Czy to ma coś wspólnego z procedurą …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.