Jaki jest typowy zakres możliwych wartości parametru skurczu w regresji karanej?

W regresji lasso lub kalenicy należy określić parametr skurczu, często nazywany przez lub . Ta wartość jest często wybierana poprzez krzyżową weryfikację, sprawdzając kilka różnych wartości danych treningowych i sprawdzając, która daje najlepszą wartość, np. na danych testowych. Jaki zakres wartości należy sprawdzić? Czy to ? $\lambda$ $\alpha$ $R^2$ $(0,1)$

— rombidodekeded
źródło

Możliwy duplikat wyboru zakresu i gęstości siatki dla parametru regularyzacji w LASSO

— Alex

Naprawdę nie musisz się tym przejmować. W większości pakietów (takich jak glmnet), jeśli nie podasz , pakiet oprogramowania generuje własną sekwencję (co jest często zalecane). Powodem, dla którego podkreślam tę odpowiedź, jest to, że podczas działania LASSO solver generuje sekwencję , więc chociaż może być sprzeczne z intuicją, podanie pojedynczej wartości może w rzeczywistości znacznie spowolnić solver (Po podaniu dokładnego parametru solver polega na rozwiązaniu półokreślonego programu, który może być powolny w uzasadnionych „prostych” przypadkach). $\lambda$ $\lambda$ $\lambda$

Jeśli chodzi o dokładną wartość , możesz potencjalnie wybrać cokolwiek z . Zauważ, że jeśli twoja wartość jest zbyt duża, kara będzie zbyt duża, a zatem żaden ze współczynników nie może być niezerowy. Jeśli kara będzie zbyt mała, dopasujesz model i nie będzie to najlepsze rozwiązanie sprawdzone krzyżowo $\lambda$ $[0,\infty[$ $\lambda$

— Sid
źródło

Cześć Sid, PO wydaje się świadomy faktu, o którym wspomniałeś w swoim poście. Wydaje się również, że nie odpowiada na pytanie. :-)

— kardynał