Kiedyś słyszałem metodę podwójnego użycia lassa (jak podwójne lasso), w której wykonuje się lasso na oryginalnym zestawie zmiennych, powiedzmy S1, uzyskuje rzadki zbiór o nazwie S2, a następnie ponownie wykonuje lasso na zestawie S2, aby uzyskać zestaw S3 . Czy istnieje na to termin metodologiczny? Jakie są zalety podwójnego robienia lasso?
Odpowiedzi:
Tak, procedura, o którą pytasz (lub myślisz) nazywa się zrelaksowanym lasso .
Ogólna idea polega na tym, że podczas wykonywania LASSO po raz pierwszy prawdopodobnie dołączasz „zmienne szumowe”; wykonanie LASSO na drugim zestawie zmiennych (po pierwszym LASSO) daje mniejszą konkurencję między zmiennymi, które są „prawdziwymi konkurentami”, będąc częścią modelu, a nie tylko zmiennymi „szumowymi”. Technicznie celem tej metody jest przezwyciężenie (znanej) powolnej konwergencji LASSO w zestawach danych o dużej liczbie zmiennych.
Możesz przeczytać więcej na ten temat na oryginalnej pracy Meinshausena (2007) .
Polecam także rozdział 3.8.5 na temat elementów uczenia statystycznego (Hastie, Tibshirani i Friedman, 2008) , który zawiera przegląd innych bardzo interesujących metod dokonywania wyboru zmiennych za pomocą LASSO.
Chodzi o to, aby oddzielić dwa efekty lasso
Idea zrelaksowanego lasso polega na tym, że oddzielasz dwa efekty: używasz wysokiej kary przy pierwszym przejściu, aby wybrać zmienne; i mniejszą karę za drugie przejście, aby je zmniejszyć o mniejszą kwotę.
Oryginalny artykuł (połączony przez Néstor) zawiera więcej szczegółów.