Interpretacja współczynników regresji LASSO

Obecnie pracuję nad budowaniem modelu predykcyjnego dla wyniku binarnego na zbiorze danych z ~ 300 zmiennymi i 800 obserwacjami. Dużo przeczytałem na tej stronie o problemach związanych z regresją krokową i dlaczego jej nie używać.

Czytałem o regresji LASSO i jej możliwościach wyboru funkcji i udało mi się ją wdrożyć za pomocą pakietu „caret” i „glmnet”.

Jestem w stanie wyodrębnić współczynnik modelu z optymalnym lambdaiz alpha„daszka”; nie znam jednak sposobu interpretacji współczynników.

Czy współczynniki LASSO są interpretowane tą samą metodą co regresja logistyczna?
Czy właściwe byłoby użycie funkcji wybranych z LASSO w regresji logistycznej?

EDYTOWAĆ

Interpretacja współczynników, jak w przypadku współczynników potęgowanych z regresji LASSO, jako logarytmicznych szans na zmianę jednostki o 1 jednostkę przy jednoczesnym utrzymaniu wszystkich pozostałych współczynników na stałym poziomie.

https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-how-do-i-interpret-odds-ratios-in-logistic-regression/

— Michael Luu
źródło

Czy możesz uzupełnić trochę to, co rozumiesz przez „interpretowane w taki sam sposób jak regresja logistyczna”? Byłbym bardzo przydatny, aby dokładnie wiedzieć, jakie interpretacje chcesz uogólnić.

— Matthew Drury

@Mathew Drury - Dziękuję bardzo za poświęcenie czasu na pomoc, ponieważ moje zajęcia nigdy nie przekroczyły LASSO. Ogólnie rzecz biorąc, z tego, czego nauczono mnie na studiach magisterskich, wykładnicze współczynniki z regresji logistycznej dają logarytmiczne szanse wzrostu jednostkowego współczynnika o 1 jednostkę przy zachowaniu wszystkich pozostałych współczynników na stałym poziomie.

— Michael Luu,

W „Caret” wybierasz i . Skąd pochodzi ? Czy to prawdopodobnie hiperparametr elastycznej siatki (względna waga LASSO w porównaniu z karą kalenicową) (w którym to przypadku faktycznie użyłbyś elastycznej siatki zamiast LASSO)?

α

$\alpha$

λ

$\lambda$

α

$\alpha$

— Richard Hardy

O ile mi wiadomo, testowanie istotności współczynników nie zostało wprowadzone w większości implementacji LASSO. Czy zatem różnica nie może polegać na tym, że chociaż możemy określić statystycznie istotne zmienne w OLS, nie możemy tego zrobić za pomocą LASSO, z wyjątkiem złożenia słabszego stwierdzenia, że wybrane współczynniki LASSO odpowiednich zmiennych są „ważnymi” zmiennymi do rozważenia?

— godspeed

Czy współczynniki LASSO są interpretowane tą samą metodą co regresja logistyczna?

Pozwólcie, że sformułuję : Czy współczynniki LASSO są interpretowane w taki sam sposób, jak na przykład współczynniki maksymalnego prawdopodobieństwa ~~OLS~~ w regresji logistycznej?

LASSO (metoda szacowania karanego) ma na celu oszacowanie tych samych wielkości (współczynników modelu), co powiedzmy, maksymalne prawdopodobieństwo ~~OLS~~ (metoda niezenalizowana). Model jest taki sam, a interpretacja pozostaje taka sama. Wartości liczbowe z LASSO będą zwykle różnić się od wartości z maksymalnego prawdopodobieństwa ~~OLS~~ : niektóre będą bliższe zeru, inne będą dokładnie zerowe. Jeżeli zastosowana zostanie rozsądna ilość kary, oszacowania LASSO będą leżeć bliżej prawdziwych wartości niż oszacowania maksymalnego prawdopodobieństwa ~~OLS~~ , co jest pożądanym wynikiem.

Czy właściwe byłoby użycie funkcji wybranych z LASSO w regresji logistycznej?

Nie ma z tym nieodłącznego problemu, ale możesz użyć LASSO nie tylko do wyboru funkcji, ale także do oszacowania współczynnika. Jak wspomniałem powyżej, szacunki LASSO mogą być dokładniejsze niż, powiedzmy, szacunki maksymalnego prawdopodobieństwa ~~OLS~~ .

— Richard Hardy
źródło

Dziękuję bardzo za tę odpowiedź! Ma dużo sensu! Proszę wybaczyć moją ograniczoną wiedzę na ten temat. Jak wspomniałeś w innym komentarzu, mogę używać elastycznej siatki zamiast LASSO za pomocą karetki, ponieważ wybiera ona optymalną lambda i alfa. Czy to samo dotyczyłoby współczynników?

— Michael Luu

Tak, to by było. Podstawowa logika pozostaje taka sama.

— Richard Hardy,

Piszesz „interpretacja pozostaje taka sama”. Czy możesz mi pomóc zrozumieć ten punkt? Wydaje mi się, że interpretacja współczynników OLS w ustawieniach regresji wielokrotnej opiera się na wykresach regresji częściowej . Jednak ta właściwość nie dotyczy współczynników lasso, co prowadzi mnie do wniosku, że interpretacja byłaby inna.

— user795305

@ Ben. Jeśli założymy podstawowy model statystyczny, możemy oszacować jego parametry na różne sposoby, z których dwa popularne to OLS i lasso. Szacowane współczynniki są ukierunkowane na te same cele i oba mają pewien błąd oszacowania (który, jeśli zostanie podniesiony do kwadratu, może zostać rozłożony na odchylenie i wariancję), więc w tym sensie ich interpretacja jest taka sama. Teraz oczywiście metody nie są takie same, więc otrzymujesz różne oszacowane wartości współczynników. Jeśli zależy ci na metodach i ich interpretacjach algebraicznych i geometrycznych, to nie są one takie same. Ale interpretacje przedmiotowe są takie same.

— Richard Hardy

@RichardHardy Ach, dobra, myślę, że lepiej rozumiem, co mówisz. To z pewnością prawda, że lasso może pokonać błąd szacowania OLS, ale na koniec, jak mówisz, są to tylko estymatory dla tego samego celu. Czy jakikolwiek estymator byłby interpretowany w taki sam sposób, jak OLS? Na przykład, czy estymator (nielosowy) byłby interpretowany w ten sposób? lub estymator z identycznymi (0,1) wpisami? (itp.) Wydaje mi się (według mnie), że właściwości estymatora należy bezpośrednio wykorzystać w jego interpretacji, a nawet interpretacje przedmiotowe mogłyby ulec zmianie.

(1, \dots, p)^{T}

$(1, \dots, p)^T$

— user795305