Pytania otagowane jako ridge-regression

Załóżmy, że mam dwa estymatory i które są spójnymi estymatorami tego samego parametru i takie, że z w sensie psd. Zatem asymptotycznie \ widehat {\ beta} _1 jest bardziej wydajny niż \ widehat {\ beta} _2 . Te dwa estymatory oparte są na różnych funkcjach strat.βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), …

11 regression  ridge-regression  shrinkage  penalized 

Zastosowałem trochę danych, aby znaleźć najlepsze rozwiązanie zmiennych modelu modelu regresji za pomocą regresji grzbietu w R. Użyłem lm.ridgei glmnet(kiedy alpha=0), ale wyniki są bardzo różne, szczególnie kiedy lambda=0. Załóżmy, że oba estymatory parametrów mają takie same wartości. Więc w czym jest problem? Z poważaniem

11 r  regression  ridge-regression  glmnet 

Po przeczytaniu rozdziału 3 w elementach statystycznego uczenia się (Hastie, Tibshrani i Friedman) zastanawiałem się, czy możliwe jest wdrożenie słynnych metod skurczu cytowanych w tytule tego pytania ze względu na strukturę kowariancji, tj. Zminimalizowanie (być może bardziej ogólnego ) ilość ( y⃗ - Xβ⃗ )T.V.- 1( y⃗ - Xβ⃗ ) …

11 lasso  ridge-regression 

Niech A będzie macierzą n × pn×pn \times p zmiennych niezależnych, a B będzie odpowiadającą macierzą wartości zależnych. Regresję kalenicy, że określenie parametrów tak, że: . Teraz pozwól [usv] = svd (A) i ukośny wpis „s”. definiujemy stopnie swobody (df) = . Regresja grzbietu zmniejsza współczynniki składników o niskiej wariancji, …

11 ridge-regression 

Wiem, że powszechną praktyką jest standaryzacja cech regresji grzbietu i lasso, jednak czy bardziej praktyczna byłaby normalizacja cech w skali (0,1) jako alternatywa dla standaryzacji z-score dla tych metod regresji?

11 normalization  lasso  standardization  ridge-regression 

Regresję grzbietu można wyrazić jako gdzie jest przewidywaną etykietą , do identyfikacji macierzy pożądanego obiektu próbują znaleźć etykietę i macierz PRZEDMIOTY, takie, że:y^=(X′X+aId)−1Xxy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}xy^y^\hat{y}IdId\mathbf{I}_dd×dd×dd \times dxx\mathbf{x}XX\mathbf{X}n×dn×dn \times dnnnxi=(xi,1,...,xi,d)∈Rdxi=(xi,1,...,xi,d)∈Rd\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d X=⎛⎝⎜⎜⎜⎜⎜x1,1x2,1⋮xn,1x1,2x2,2⋮x1,2……⋱…x1,dx2,d⋮xn,d⎞⎠⎟⎟⎟⎟⎟X=(x1,1x1,2…x1,dx2,1x2,2…x2,d⋮⋮⋱⋮xn,1x1,2…xn,d) \mathbf{X} = \begin{pmatrix} x_{1,1} & x_{1,2} & \ldots & x_{1,d}\\ x_{2,1} & x_{2,2} …

11 regression  ridge-regression  kernel-trick 

W kilku odpowiedziach widziałem, jak użytkownicy CrossValidated sugerują OP znaleźć wczesne artykuły na temat Lasso, Ridge i Elastic Net. Dla potomnych, jakie są przełomowe prace na temat Lasso, Ridge i Elastic Net?

10 references  lasso  regularization  ridge-regression  elastic-net 

Czytałem opis regresji grzbietu w Applied Linear Statistics Models , 5th Ed, rozdział 11. Regresję grzbietu wykonuje się na podstawie danych tkanki tłuszczowej dostępnych tutaj . Podręcznik pasuje do danych wyjściowych w SAS, gdzie współczynniki przekształcone wstecz są podane w dopasowanym modelu jako: Y= - 7,3978 + 0,5553 X1+ 0,3668 …

10 r  sas  ridge-regression 

Jak wykonać nieujemną regresję kalenicy? Lasso nieujemne jest dostępne w scikit-learn, ale dla grzbietu nie mogę wymusić nieujemności bety i rzeczywiście otrzymuję współczynniki ujemne. Czy ktoś wie, dlaczego tak jest? Czy mogę również zastosować grzbiet w kategoriach zwykłych najmniejszych kwadratów? Przeniesiono to do innego pytania: Czy mogę wdrożyć regresję kalenicy …

10 regression  lasso  regularization  ridge-regression 

Rozumiem, że możemy zastosować regularyzację w przypadku problemu regresji metodą najmniejszych kwadratów jako w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] i że ten problem ma rozwiązanie zamknięte, ponieważ: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Widzimy, że w drugim równaniu regularyzacja po prostu dodaje λλ\lambda do przekątnej XTXXTX\boldsymbol{X}^T\boldsymbol{X} , co ma na …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

Pracuję nad weryfikacją krzyżową prognoz moich danych z 200 podmiotami i 1000 zmiennymi. Interesuje mnie regresja grzbietu, ponieważ liczba zmiennych (chcę użyć) jest większa niż liczba próbek. Więc chcę użyć estymatorów skurczu. Oto przykładowe dane: #random population of 200 subjects with 1000 variables M <- matrix(rep(0,200*100),200,1000) for (i in 1:200) …

9 r  cross-validation  prediction  ridge-regression 

Pracuję nad modelem kosztów predykcyjnych, w którym wiek pacjenta (liczba całkowita mierzona w latach) jest jedną ze zmiennych predykcyjnych. Widoczny jest silny nieliniowy związek między wiekiem a ryzykiem hospitalizacji: Rozważam spline wygładzenie regresji wygładzającej dla wieku pacjenta. Według The Elements of Statistics Learning (Hastie i in., 2009, s. 151) optymalne …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

Gdy , problem najmniejszych kwadratów, który nakłada sferyczne ograniczenie na wartość można zapisać jako dla zbyt określonego systemu. \ | \ cdot \ | _2 to euklidesowa norma wektora.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 …

9 regression  least-squares  regularization  ridge-regression  underdetermined 

Jestem nowy w regresji grzbietu. Kiedy zastosowałem liniową regresję kalenicy, otrzymałem następujące wyniki: >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W estimator is 0.3718668 smallest value of GCV at 0 Pytania: …

9 ridge-regression