R - Regresja Lasso - inna Lambda na regresor

Chcę wykonać następujące czynności:

1) Regresja OLS (bez kary), aby uzyskać współczynniki beta ; oznacza zmienne użyte do regresji. Robię to przez$b_{j}^{*}$$j$

lm.model = lm(y~ 0 + x)
betas    = coefficients(lm.model)

2) Regresja Lasso z terminem karnym, kryteriami wyboru są Bayesowskie Kryteria Informacyjne (BIC), podane przez

gdzie oznacza numer zmiennej / regresora, oznacza liczbę obserwacji, a dla początkowych bet uzyskanych w kroku 1). Chcę uzyskać wyniki regresji dla tej konkretnej wartości , która jest inna dla każdego zastosowanego regresora. Dlatego jeśli są trzy zmienne, będą trzy różne wartości .$j$$T$$b_{j}^{*}$$\lambda_j$$\lambda_j$

Problem optymalizacji OLS-Lasso jest następnie podawany przez

Jak mogę to zrobić w R z pakietem lars lub glmnet? Nie mogę znaleźć sposobu na określenie lambda i nie jestem w 100% pewien, czy otrzymam prawidłowe wyniki po uruchomieniu

lars.model <- lars(x,y,type = "lasso", intercept = FALSE)
predict.lars(lars.model, type="coefficients", mode="lambda")

Doceniam każdą pomoc tutaj.

Aktualizacja:

Użyłem teraz następującego kodu:

fits.cv = cv.glmnet(x,y,type="mse",penalty.factor = pnlty)
lmin    = as.numeric(fits.cv[9]) #lambda.min
fits    = glmnet(x,y, alpha=1, intercept=FALSE, penalty.factor = pnlty)
coef    = coef(fits, s = lmin)

W wierszu 1 używam weryfikacji krzyżowej z moim określonym współczynnikiem kary ( ), który jest inny dla każdego regresora . Wiersz 2 wybiera „lambda.min” z fits.cv, który jest lambda dającym minimalny średni błąd walidacji krzyżowej. Linia 3 wykonuje dopasowanie lasso ( ) na danych. Ponownie użyłem współczynnika kary . Wiersz 4 wyodrębnia współczynniki z dopasowań, które należą do „optymalnego” wybranego w wierszu 2.λ$\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$alpha=1$\lambda$$\lambda$

Teraz mam współczynniki beta dla regresorów, które przedstawiają optymalne rozwiązanie problemu minimalizacji

z czynnikiem karnym . Optymalny zestaw współczynników jest najprawdopodobniej podzbiorem regresorów, które początkowo stosowałem, jest to konsekwencja metody Lasso, która zmniejsza liczbę używanych regresorów.$\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$

Czy moje rozumienie i kod są poprawne?

Z glmnetdokumentacji ( ?glmnet) wynika, że ​​możliwe jest wykonanie skurczu różnicowego. To pozwala nam przynajmniej częściowo odpowiedzieć na pytanie OP.

penalty.factor: Do każdego współczynnika można zastosować osobne współczynniki kary. Jest to liczba mnożąca się, lambdaaby umożliwić skurcz różnicowy. Może wynosić 0 dla niektórych zmiennych, co oznacza brak skurczu, a zmienna ta jest zawsze uwzględniana w modelu. Wartość domyślna to 1 dla wszystkich zmiennych (i domyślnie nieskończoność dla zmiennych wymienionych w exclude). Uwaga: współczynniki kar są wewnętrznie przeskalowywane do sumy nvars, a lambdasekwencja odzwierciedla tę zmianę.

Aby jednak w pełni odpowiedzieć na pytanie, uważam, że dostępne są dwa podejścia, w zależności od tego, co chcesz osiągnąć.

1. Twoje pytanie brzmi: jak zastosować kurczenie różnicowe glmneti odzyskać współczynniki dla określonej wartości . Podanie st niektórych wartości nie 1 powoduje różnicowy skurcz przy dowolnej wartości . Aby osiągnąć skurcz, skurcz dla każdego wynosi , po prostu musimy wykonać algebrę. Niech będzie czynnikiem karnym dla , co zostanie dostarczone . Z dokumentacji wynika, że ​​te wartości są ponownie skalowane o współczynnik st . Oznacza to, że$\lambda$penalty.factor$\lambda$$b_j$$\phi_j= \frac{\log T}{T|b_j^*|}$$\phi_j$$b_j$penalty.factor$C\phi_j=\phi^\prime_j$$m=C\sum_{j=1}^m \frac{\log T}{T|b^*_j|}$$\phi_j^\prime$zastępuje w poniższym wyrażeniu optymalizacyjnym. więc dla , podaj wartości do , a następnie wyodrębnij współczynniki dla . Poleciłbym użyć .$\phi_j$$C$$\phi_j^\prime$glmnet$\lambda=1$coef(model, s=1, exact=T)

2. Drugi to „standardowy” sposób użycia glmnet: jeden przeprowadza wielokrotne sprawdzanie poprawności -krotnie, aby wybrać tak aby zminimalizować MSE poza próbą. To właśnie opisuję bardziej szczegółowo. Powodem, dla którego używamy CV i sprawdzamy MSE poza próbą, jest to, że MSE w próbce zawsze będzie zminimalizowane dla , tj. jest zwykłym MLE. Używanie CV podczas zmieniania pozwala nam oszacować wydajność modelu na danych poza próbą i wybrać optymalną (w pewnym sensie) .$k$$\lambda$$\lambda=0$$b$$\lambda$$\lambda$

To glmnetwywołanie nie określa (również nie powinno, ponieważ domyślnie oblicza całą trajektorię ze względu na wydajność). powróci współczynniki dla wartości . Ale bez względu na wybór który podasz, wynik będzie odzwierciedlał karę różnicową zastosowaną w wezwaniu do dopasowania modelu.λ λ $\lambda$$\lambda$coef(fits,s=something)$\lambda$something$\lambda$

Standardowym sposobem wyboru optymalnej wartości jest użycie zamiast . Walidacja krzyżowa służy do wyboru stopnia skurczu, który minimalizuje błąd poza próbą, podczas gdy specyfikacja skurczy niektóre funkcje bardziej niż inne, zgodnie z twoim schematem ważenia.$\lambda$cv.glmnetglmnetpenalty.factor

Ta procedura jest optymalizowana

gdzie jest czynnikiem karnym dla funkcji (co podajesz w argumencie). (Różni się to nieco od wyrażenia optymalizacyjnego; zwróć uwagę, że niektóre indeksy dolne są różne.) Zauważ, że termin jest taki sam we wszystkich funkcjach, więc jedynym sposobem, aby niektóre funkcje były zmniejszone bardziej niż inne, jest . Co ważne, i nie są takie same; to skalar, a to wektor! W tym wyrażeniu jest stałe / zakłada się, że jest znane; to znaczy optymalizacja wybierze optymalne , a nie optymalne$\phi_j$$j^{th}$penalty.factor$\lambda$$\phi_j$$\lambda$$\phi$$\lambda$$\phi$$\lambda$$b$$\lambda$.

Jest to w zasadzie motywacja, glmnetjak rozumiem: stosowanie regresji karnej w celu oszacowania modelu regresji, który nie jest nadmiernie optymistyczny w odniesieniu do jego wydajności poza próbą. Jeśli to jest twój cel, być może jest to w końcu właściwa metoda.