Zou i in. „O„ stopniach swobody lasso ” (2007) pokazują, że liczba niezerowych współczynników jest obiektywnym i spójnym oszacowaniem dla stopni swobody lasso.
Wydaje mi się to trochę sprzeczne z intuicją.
- Załóżmy, że mamy model regresji (gdzie zmienne mają średnią zerową)
- Załóżmy, że nieograniczone oszacowanie OLS dla wynosi . Może to z grubsza pokrywać się z oszacowaniem LASSO dla bardzo niskiej intensywności kary.β O L S = 0,5 β
- Załóżmy ponadto, że oszacowanie LASSO dla określonej intensywności kary wynosi . Na przykład może być „optymalną” dla danego zestawu danych znalezionego przy użyciu weryfikacji krzyżowej. * β L S S O , λ * = 0,4 λ * λ
- Jeśli dobrze rozumiem, w obu przypadkach stopnie swobody wynoszą 1, ponieważ za każdym razem istnieje jeden niezerowy współczynnik regresji.
Pytanie:
- Dlaczego stopnie swobody w obu przypadkach są takie same, mimo że sugeruje mniejszą „swobodę” w dopasowaniu niż ? β OLS=0,5
Bibliografia:
- Zou, Hui, Trevor Hastie i Robert Tibshirani. „O„ stopniach swobody ”lassa.” The Annals of Statistics 35.5 (2007): 2173-2192.