Wykonuję regresję logistyczną elastycznej sieci dla zestawu danych opieki zdrowotnej, używając glmnetpakietu w R, wybierając wartości lambda na siatce od 0 do 1. Mój skrócony kod znajduje się poniżej:$\alpha$

alphalist <- seq(0,1,by=0.1)
elasticnet <- lapply(alphalist, function(a){
  cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001)
})
for (i in 1:11) {print(min(elasticnet[[i]]$cvm))}

która wyprowadza średni błąd zwalidowany krzyżowo dla każdej wartości alfa od do z przyrostem :1,0 $0.0$$1.0$$0.1$

[1] 0.2080167
[1] 0.1947478
[1] 0.1949832
[1] 0.1946211
[1] 0.1947906
[1] 0.1953286
[1] 0.194827
[1] 0.1944735
[1] 0.1942612
[1] 0.1944079
[1] 0.1948874

Na podstawie tego, co przeczytałem w literaturze, optymalnym wyborem jest miejsce, w którym błąd cv jest zminimalizowany. Ale istnieje wiele różnic w błędach w zakresie alfa. Widzę kilka lokalnych minimów z globalnym błędem minimalnym dla .$\alpha$0.1942612alpha=0.8

Czy to jest bezpieczne alpha=0.8? Lub, biorąc pod uwagę tę odmianę, czy powinienem ponownie uruchomić cv.glmnetz większą liczbą fałd walidacji krzyżowej (np. zamiast ), czy może większą liczbą przyrostów pomiędzy i, aby uzyskać wyraźny obraz ścieżki błędu CV?10 $20$$10$$\alpha$alpha=0.01.0

Wyjaśnienie, co należy rozumieć przez parametry i Elastic Net$\alpha$

Różne pakiety używają różnych terminów i parametrów, ale ich znaczenie jest zasadniczo takie samo:

Pakiet R Glmnet wykorzystuje następującą definicję

$\min_{\beta_0,\beta} \frac{1}{N} \sum_{i=1}^{N} w_i l(y_i,\beta_0+\beta^T x_i) + \lambda\left[(1-\alpha)||\beta||_2^2/2 + \alpha ||\beta||_1\right]$

Zastosowania Sklearn

$\min_{w} \frac{1}{2N} \sum_{i=1}^{N} ||y - Xw ||^2_2 + \alpha \times l_1 \text{ratio} ||w||_1 + 0.5 \times \alpha \times (1 - l_1 \text{ratio}) \times ||w||_2^2$

Istnieją alternatywne Parametryzacja użyciem i oraz ..$a$$b$

Aby uniknąć zamieszania, zadzwonię

• $\lambda$ parametr siły karnej
• $L_1 \text{ratio}$ stosunek między a , w zakresie od 0 (grzbiet) do 1 (lasso)$L_1$$L_2$

Wizualizacja wpływu parametrów

Rozważ symulowany zestaw danych, w którym składa się z hałaśliwej krzywej sinusoidalnej, a jest dwuwymiarową cechą składającą się z i . Z powodu korelacji między i funkcją kosztu jest wąska dolina.$y$$X$$X_1 = x$$X_2 = x^2$$X_1$$X_2$

Poniższa grafika ilustruje ścieżkę rozwiązania regresji elasticnet z dwoma różnymi parametrami stosunku , w zależności od parametru siły .$L_1$$\lambda$

• Dla obu symulacji: gdy wówczas rozwiązaniem jest rozwiązanie OLS w prawym dolnym rogu z powiązaną funkcją kosztu w kształcie doliny.$\lambda = 0$
• Wraz ze wzrostem rozpoczyna się regularyzacja i rozwiązanie ma tendencję do$\lambda$$(0,0)$
• Główną różnicą między dwiema symulacjami jest parametr stosunku .$L_1$
• LHS : dla małego współczynnika funkcja kosztów regulowanych przypomina bardzo regresję Ridge'a z okrągłymi konturami.$L_1$
• RHS : dla dużego współczynnika funkcja kosztu przypomina bardzo regresję Lasso z typowymi konturami w kształcie rombu.$L_1$
• W przypadku pośredniego współczynnika (nie pokazano) funkcja kosztu stanowi połączenie tych dwóch$L_1$

Zrozumienie wpływu parametrów

ElasticNet został wprowadzony, aby przeciwdziałać niektórym ograniczeniom Lasso, którymi są:

• Jeśli jest więcej zmiennych niż punkty danych , , lasso wybiera co najwyżej zmiennych.$p$$n$$p>n$$n$
• Lasso nie wykonuje selekcji pogrupowanej, zwłaszcza w obecności zmiennych skorelowanych. Będzie miał tendencję do wybierania jednej zmiennej z grupy i ignorowania innych

Łącząc i kwadratową karę uzyskujemy zalety obu:$L_1$$L_2$

• $L_1$ generuje rzadki model
• $L_2$ usuwa ograniczenie liczby wybranych zmiennych, zachęca do grupowania i stabilizuje ścieżkę regularyzacji .$L_1$

Możesz to zobaczyć wizualnie na powyższym schemacie, osobliwości w wierzchołkach zachęcają do rzadkości , a ścisłe wypukłe krawędzie zachęcają do grupowania .

Oto wizualizacja zaczerpnięta z Hastie (wynalazcy ElasticNet)

Dalsza lektura

• https://web.stanford.edu/~hastie/Papers/B67.2%20(2005)%20301-320%20Zou%20&%20Hastie.pdf
• https://www.researchgate.net/profile/Federico_Andreis/publication/321106005_Shrinkage_methods_ridge_lasso_elastic_nets/links/5a0da3d7aca2729b1f4eeabb/Shrinkage-methods-ridge-lasso-elastic-nets.pdf
• https://web.stanford.edu/~hastie/TALKS/enet_talk.pdf

Pozwolę sobie dodać kilka bardzo praktycznych uwag, pomimo wieku pytania. Ponieważ nie jestem użytkownikiem języka R, nie mogę pozwolić kodowi mówić, ale powinno to być zrozumiałe.

1. Zwykle powinieneś wybrać hiperparametry (tutaj: ) z najlepszym wynikiem CV. Alternatywnie, możesz wybrać najlepsze modeli i utworzyć zespół przez arytmetyczne uśrednianie funkcji decyzyjnej. To oczywiście zwiększa złożoność środowiska wykonawczego. Wskazówka: czasami uśrednianie geometryczne działa lepiej . Przypuszczam, że dzieje się tak z powodu płynniejszej granicy decyzji.$\alpha$$k$$f_1, ..., f_k$$f(x) = \frac{1}{k}\sum_i{f_i(x)}$$f(x) = \sqrt[k]{\prod_{i=1}^k{f_i(x)}}$

2. Jedną z zalet ponownego próbkowania jest to, że można sprawdzić sekwencję wyników testu, które są tutaj wynikami cv. Zawsze powinieneś patrzeć nie tylko na średnią, ale na odchylenie standardowe (nie jest to rozkład normalny, ale zachowujesz się tak, jakby). Zazwyczaj wyświetla się to powiedzenie jako 65,5% (± 2,57%) dla dokładności. W ten sposób możesz stwierdzić, czy „małe odchylenia” są bardziej prawdopodobne przypadkowo czy strukturalnie. Lepiej byłoby nawet sprawdzić kompletne sekwencje. Jeśli z jakiegoś powodu zawsze występuje jedno złożenie, możesz przemyśleć sposób, w jaki dokonujesz podziału (wskazuje to na wadliwy projekt eksperymentalny, a także: czy przetasowałeś?). W scikit-poznaj GridSearchCVszczegółowe informacje o wygasaniu foldów w sklepie cv_results_( patrz tutaj ).

3. W odniesieniu do : im wyższa, tym bardziej elastyczna siatka będzie miała funkcję . Możesz sprawdzić wagi uzyskanych modeli, im wyższa , tym więcej zostanie ustawione na zero. Jest to przydatna sztuczka, aby usunąć razem atrybuty z wagami ustawionymi na zero z potoku (to znacznie poprawia wydajność środowiska wykonawczego). Inną sztuczką jest użycie modelu elastycznej siatki do wyboru funkcji, a następnie przeszkolenie wariantu . Zwykle prowadzi to do dramatycznego wzrostu wydajności modelu, ponieważ wzajemne powiązania między funkcjami zostały odfiltrowane.$\alpha$$L_1$$\alpha$L 2$L_2$