Jak oszacować parametr skurczu w regresji Lasso lub regresji kalenicowej przy zmiennych> 50K?

Chcę użyć regresji Lasso lub regresji grzbietu dla modelu z ponad 50 000 zmiennych. Chcę to zrobić za pomocą pakietu oprogramowania w R. Jak mogę oszacować parametr skurczu ( $\lambda$ )?

Edycje:

Oto punkt, do którego doszedłem:

set.seed (123)
Y <- runif (1000)
Xv <- sample(c(1,0), size= 1000*1000,  replace = T)
X <- matrix(Xv, nrow = 1000, ncol = 1000)

mydf <- data.frame(Y, X)

require(MASS)
lm.ridge(Y ~ ., mydf)

plot(lm.ridge(Y ~ ., mydf,
              lambda = seq(0,0.1,0.001)))

wprowadź opis zdjęcia tutaj

Moje pytanie brzmi: skąd mam wiedzieć, który jest najlepszy dla mojego modelu? $\lambda$

r lasso ridge-regression high-dimensional

— Jan
źródło

Parametr wygładzania nie jest statystycznie możliwy do oszacowania, ale wykorzystuje wybrany, aby zmaksymalizować dopasowanie poza próbą za pomocą, na przykład, walidacji krzyżowej. Myślę, że standardowe pakiety dla LASSO i Ridge Regression w R mają wbudowaną funkcjonalność, aby to dla Ciebie zrobić - czy już to sprawdziłeś?

— Makro

Nie zgadzam się - możesz oszacować parametr wygładzania, stosując podejście modelu mieszanego. Istnieją metody Reml, podobnie jak heirarchiczne metody Bayesa. Nie potrzebujesz drogiej weryfikacji krzyżowej.

— Prawdopodobieństwo

@probabilityislogic dziękuję za informację. Byłoby wspaniale, gdyby w skrypcie było niewiele szczegółów, jak możemy to zrobić za pomocą reml

— Jan

W przypadku regresji grzbietowej wykluczenie krzyżowe jest zasadniczo bezpłatne (statystyki PRESS Allena) i uważam, że jest to dość dobra metoda. Jednak z tak może cechować się prawie każda metoda, którą użyjesz będzie niestabilna, a w pełni bayesowskie podejście marginalizujące zarówno parametry, jak i parametry regularyzacji prawdopodobnie będzie bardziej niezawodnym rozwiązaniem (jak sądzę sugerowało prawdopodobieństwo logiki). Jeśli nie lubisz metod bayesowskich, użyj workowania i ponownie oszacuj lambda za każdym razem.

— Dikran Marsupial

@Macro - (nic podobnego do odpowiedzi 18 miesięcy później). W podejściu modelu mieszanego istnieją dwa dodatkowe terminy, które zależą tylko od

ale nie od

. Są to

gdzie

jest liczbą bet, a X matrycą predykcyjną. Pierwszy termin pochodzi od

gdzie

λ

$\lambda$

β

$\beta$

- k \log (λ)

$-k\log(\lambda)$

\log | X^{T} X + λ I |

$\log|X^TX+\lambda I|$

k

$k$

β \sim N (0, σ^{2} λ^{- 1})

$\beta\sim N(0,\sigma^2\lambda^{-1})$

σ^{2}

$\sigma^2$ jest wariancją błędu. Drugi składnik jest REML korekcji w celu uwzględnienia niepewność podłączając

β = \hat{β}

$\beta=\hat{\beta}$

— probabilislogiczny

Odpowiedzi:

cv.glmnet $\lambda$ $\ell_1$ $\ell_1$ $\ell_2$ $\alpha$

$\lambda$ $\lambda$ cv.glmnet $\lambda$ lambda.minlambda.1se $\lambda$ type.measure

Alternatywnie pakiet R mgcv zawiera szerokie możliwości szacowania z kwadratową penalizacją, w tym automatyczny wybór parametrów kary. Wdrożone metody obejmują uogólnioną walidację krzyżową i REML, jak wspomniano w komentarzu. Więcej szczegółów można znaleźć w książce autorów pakietu: Wood, SN (2006) Uogólnione modele addytywne: wprowadzenie do R, CRC.

— NRH
źródło

cv.glmnet

λ

$\lambda$ lambda.minlambda.1se

@chl, dzięki za sugestię. Powinienem to dodać.

— NRH

Ta odpowiedź jest specyficzna dla MATLAB, jednak podstawowe pojęcia powinny być dość podobne do tego, do czego przywykłeś z R ...

W przypadku MATLAB istnieje możliwość uruchomienia lasso z włączoną weryfikacją krzyżową.

Jeśli to zrobisz, funkcja lasso zgłosi dwie krytyczne wartości parametrów

Wartość lambda, która minimalizuje średni kwadratowy błąd potwierdzony krzyżowo
Wartość lambda o największym skurczu, której CVMSE mieści się w granicach jednego standardowego błędu minimum.

Otrzymasz również ładny mały wykres, którego możesz użyć do sprawdzenia związku między lambda a CVMSE

wprowadź opis zdjęcia tutaj

Ogólnie rzecz biorąc, wybierzesz wartość lambda, która mieści się między niebieską linią a zieloną linią.

Poniższy post na blogu zawiera kod demonstracyjny oparty na kilku przykładach z

Tibshirani, R. (1996). Skurcz regresji i selekcja poprzez lasso. J. Royal. Statystyk. Soc B., Vol. 58, nr 1, strony 267-288).

http://blogs.mathworks.com/loren/2011/11/29/subset-selection-and-regularization-part-2/

— Richard Willey
źródło

$L_{2}$ rmsrms pentrace

— Frank Harrell
źródło

Wydaje się, że to bardzo interesująca odpowiedź, czy chciałbyś trochę rozwinąć?

— Yair Daon,

Zobacz biostat.mc.vanderbilt.edu/wiki/pub/Main/FHHandouts/iscb98.pdf

— Frank Harrell