Czytałem ten artykuł dotyczący elastycznej siatki. Mówią, że używają elastycznej siatki, ponieważ jeśli użyjemy tylko Lasso, zwykle wybierany jest tylko jeden predyktor spośród predyktorów, które są wysoce skorelowane. Ale czy nie tego chcemy? Mam na myśli, że ratuje nas przed problemem wielokoliniowości, prawda?
Wszelkie sugestie / wyjaśnienia?
Odpowiedzi:
Załóżmy, że dwa predyktory mają silny wpływ na odpowiedź, ale są silnie skorelowane w próbce, z której budujesz model. Jeśli usuniesz jeden z modelu, nie będzie on dobrze przewidywał próbek z podobnych populacji, w których predyktory nie są silnie skorelowane.
Jeśli chcesz poprawić precyzję swoich oszacowań współczynnika w obecności wielokoliniowości, musisz wprowadzić trochę uprzedzenia, kompensując go większym zmniejszeniem wariancji. Jednym ze sposobów jest całkowite usunięcie predyktorów - za pomocą LASSO lub, w dawnych czasach, metodami krokowymi - co ustawia ich oszacowania współczynnika na zero. Innym jest trochę odchylenie wszystkich szacunków - z regresją grzbietu lub, w dawnych czasach, regresją pierwszych kilku głównych składników. Wadą tego pierwszego jest to, że bardzo niebezpieczne jest, jeśli model będzie używany do przewidywania odpowiedzi na wzorce predykcyjne z dala od tych, które wystąpiły w oryginalnej próbce, ponieważ predyktory są zwykle wykluczane tylko dlatego, że nie są zbyt często używane razem z innymi, prawie kolinearne, predyktory. (Nie to, że ekstrapolacja jest zawsze całkowicie bezpieczna.) Elastyczna siatka jest mieszanką tych dwóch, jak wyjaśnia @ user12436, i ma tendencję do utrzymywania grup skorelowanych predyktorów w modelu.
Ale czy nie tego chcemy? Chodzi mi o to, że ratuje nas przed problemem wielokoliniowości, prawda?
Tak! i nie. Siatka elastyczna to połączenie dwóch technik regularyzacji, regularyzacji L2 (stosowanej w regresji grzbietu) i regularyzacji L1 (stosowanej w LASSO).
Lasso tworzy naturalnie rzadkie modele, tj. Większość zmiennych współczynników zostanie zmniejszona do 0 i skutecznie wykluczona z modelu. Tak więc najmniej znaczące zmienne są zmniejszane, zanim kurczą się inne, w przeciwieństwie do grzbietu, gdzie wszystkie zmienne są zmniejszane, podczas gdy żadna z nich tak naprawdę nie jest zmniejszana do zera.
Elastyczna siatka wykorzystuje liniową kombinację obu tych podejść. Konkretny przypadek wspomniany przez Hastie podczas omawiania metody był w przypadku dużego p, małego n. Co oznacza: dane o dużych wymiarach przy stosunkowo niewielu obserwacjach. W tym przypadku LASSO wybrałby (podobno) tylko co najwyżej n zmiennych, eliminując resztę, patrz artykuł Hastie .
Zawsze będzie zależeć od rzeczywistego zestawu danych, ale możesz sobie wyobrazić, że nie zawsze chcesz, aby górny limit liczby zmiennych w modelach był równy lub niższy niż liczba twoich obserwacji.
Zarówno Lasso, jak i Elastic Net to wydajne metody przeprowadzania selekcji zmiennych lub cech w ustawieniach danych wielowymiarowych (znacznie więcej zmiennych niż pacjenci lub próbki; np. 20 000 genów i 500 próbek nowotworów).
(Hastie i inni) wykazali, że Elastyczna Sieć może przewyższyć Lasso, gdy dane są wysoce skorelowane. Lasso może po prostu wybrać jedną ze skorelowanych zmiennych i nie dba o to, która z nich zostanie wybrana. Może to stanowić problem, gdy chce się sprawdzić wybrane zmienne w niezależnym zbiorze danych. Zmienna wybrana przez Lasso może nie być najlepszym predyktorem wśród wszystkich skorelowanych zmiennych. Sieć elastyczna rozwiązuje ten problem, uśredniając wysoce skorelowane zmienne.