Co to jest lasso w analizie regresji?

81

Szukam nietechnicznej definicji lasso i do czego służy.

— Paul Vogt
źródło

Ze strony Roberta Tibshiraniego (autora oryginalnej pracy lasso): Proste wyjaśnienie regresji Lasso i najmniejszego kąta .

112

LASSO (Najmniejszy bezwzględny operator skurczu i selekcji) to metoda regresji, która polega na karaniu bezwzględnej wielkości współczynników regresji.

Karanie (lub równoważne ograniczanie sumy wartości bezwzględnych oszacowań) prowadzi do sytuacji, w której niektóre oszacowania parametrów mogą być dokładnie zerowe. Im większa nałożona kara, tym dalsze szacunki są zmniejszane do zera.

Jest to wygodne, gdy potrzebujemy automatycznej selekcji cech / zmiennych lub gdy mamy do czynienia z wysoce skorelowanymi predyktorami, w których regresja standardowa zwykle ma współczynniki regresji, które są „zbyt duże”.

https://web.stanford.edu/~hastie/ElemStatLearn/ (bezpłatne pobieranie) ma dobry opis LASSO i powiązanych metod.

— dcl
źródło

Jestem nowy na stronie; to jest dokładnie ta informacja, której szukałem; Wielkie dzięki.

— Paul Vogt,

Czy jest plik PDF na temat rozwiązania tego problemu za pomocą podwójnego problemu?

— Royi,

Link jest zerwany

— Oliver Angelil

3

Regresja LASSO jest rodzajem analizy regresji, w której zarówno wybór zmiennych, jak i regulacja zachodzą jednocześnie. W metodzie tej stosuje się karę, która wpływa na ich wartość współczynników regresji. Wraz ze wzrostem kary coraz więcej współczynników staje się zero i odwrotnie. Wykorzystuje technikę normalizacji L1, w której parametr strojenia jest stosowany jako wielkość skurczu. Wraz ze wzrostem parametru dostrajania zwiększa się uprzedzenie, a wraz ze spadkiem zwiększa się wariancja. Jeśli jest stały, wówczas żadne współczynniki nie są równe zeru i podobnie jak w przypadku nieskończoności, wówczas wszystkie współczynniki będą wynosić zero.

— Shweta
źródło

2

W regresji „normalnej” (OLS) celem jest zminimalizowanie resztkowej sumy kwadratów (RSS) w celu oszacowania współczynników

\underset{β \in R^{p}}{argmin} \sum_{i = 1}^{n} (Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j})^{2}

$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2}$

W przypadku regresji LASSO współczynniki szacuje się przy nieco innym podejściu:

\underset{β \in R^{p}}{argmin} \sum_{i = 1}^{n} (Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j})^{2} + λ \sum_{j = 1}^{p} | β_{j} |

$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2} \color{red}{+ \lambda \sum_{j=1}^{p}|\beta_{j}|}$

Nowa część jest podświetlona na czerwono, co stanowi sumę wartości współczynników bezwzględnych karanych przez , więc kontroluje ilość regulacji (L1). $\lambda$ $\lambda$

Zauważ, że jeśli , to dałoby to te same współczynniki, co współczynnik prostej regresji liniowej. Wzór pokazuje, że w przypadku LASSO nazwa wymaga zarówno regulacji RSS, jak i L1 (nowa czerwona część), aby była minimalna. Jeśli , czerwona kara L1 ogranicza wielkość współczynników, tak że współczynnik może wzrosnąć tylko wtedy, gdy doprowadzi to do takiej samej wielkości spadku RSS. Mówiąc bardziej ogólnie, jedynym sposobem, w jaki współczynniki mogą wzrosnąć, jest to, że doświadczymy porównywalnego zmniejszenia rezydualnej sumy kwadratów (RSS). Zatem im wyżej ustawisz $\lambda = 0$ $\operatorname{argmin}$ $\lambda = 1$ $\lambda$ im więcej kar zostanie nałożonych na współczynniki, tym mniejsze będą współczynniki, niektóre mogą stać się zerowe. Oznacza to, że LASSO może powodować oszczędne modele, dokonując wyboru funkcji, i zapobiega nadmiernemu dopasowaniu modelu. To powiedziawszy, możesz użyć LASSO, jeśli masz wiele funkcji, a Twoim celem jest raczej przewidywanie danych niż interpretacja współczynników twojego modelu.

— otoczak
źródło

1

Dziękuję za odpowiedź (+1). Ta strona obsługuje , czy możesz opublikować formuły w ? Dzięki temu byłyby one czytelne dla użytkowników niedowidzących. Zauważ, że możesz nawet użyć kolorów jak tutaj (kliknij „edytuj”, aby zobaczyć surową odpowiedź) i podparcia jak tutaj, aby tworzyć podobne figury. Dzięki.

T E X

$\TeX$

T E X

$\TeX$

— Tim

@Tim: Dziękuję bardzo za to! To była świetna wskazówka, aby kliknąć edycję, aby zobaczyć, jak to się robi.

— głaz