Statystyki i duże zbiory danych lasso

1

Jakie są zalety i wady korzystania z LARS [1] w porównaniu ze stosowaniem opadania współrzędnych w celu dopasowania regresji liniowej regulowanej przez L1? Interesują mnie głównie aspekty wydajności (moje problemy występują zwykle Nw setkach tysięcy i p<20). Jednak wszelkie inne spostrzeżenia byłyby również mile widziane. edytuj: Od kiedy opublikowałem pytanie, …

13 regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

2

Dlaczego warto używać grupowego lasso zamiast lasso?

Przeczytałem, że grupa lasso służy do wyboru zmiennych i rzadkości w grupie zmiennych. Chcę poznać intuicję tego twierdzenia. Dlaczego lasso grupowe jest lepsze od lasso? Dlaczego ścieżka rozwiązania lasso grupowe nie jest fragmentarycznie liniowa?

13 regression feature-selection lasso regularization

3

Nieujemna implementacja lasso w R.

Szukam jakiegoś open source lub istniejącej biblioteki, której mogę użyć. O ile mówię, pakiet glmnet nie jest łatwo rozszerzalny, aby objąć przypadek nieujemny. Mogę się mylić, każdy z wszelkimi pomysłami bardzo cenionymi. Przez nieujemne rozumiem, że wszystkie współczynniki są ograniczone do dodatnich (> 0).

13 r lasso

2

Kiedy LASSO wybiera skorelowane predyktory?

Korzystam z pakietu „lars” w języku R z następującym kodem: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) …

13 correlation feature-selection lasso regularization ridge-regression

1

Intuicja dla stopni swobody LASSO

Zou i in. „O„ stopniach swobody lasso ” (2007) pokazują, że liczba niezerowych współczynników jest obiektywnym i spójnym oszacowaniem dla stopni swobody lasso. Wydaje mi się to trochę sprzeczne z intuicją. Załóżmy, że mamy model regresji (gdzie zmienne mają średnią zerową) y= βx + ε .y=βx+ε.y=\beta x + \varepsilon. Załóżmy, …

12 regression lasso degrees-of-freedom shrinkage

2

Modyfikacja Lasso dla LARS

Próbuję zrozumieć, w jaki sposób można zmodyfikować algorytm Larsa w celu wygenerowania Lasso. Chociaż rozumiem LARS, nie jestem w stanie zobaczyć modyfikacji Lasso z pracy Tibshirani i in. W szczególności nie rozumiem, dlaczego warunek znaku w tym, że znak niezerowej współrzędnej musi zgadzać się ze znakiem bieżącej korelacji. Czy ktoś …

12 lasso

2

Współrzędne zejścia dla lasso lub elastycznej siatki

Czy są jakieś dobre artykuły lub książki dotyczące wykorzystania opadania współrzędnych dla L1 (lasso) i / lub regularyzacji elastycznej siatki dla problemów z regresją liniową?

12 regression references lasso regularization elastic-net

1

Aktualizacja dopasowania lasso o nowe obserwacje

Dopasowuję regresję liniową regulowaną przez L1 do bardzo dużego zestawu danych (z n >> p.) Zmienne są znane z góry, ale obserwacje pojawiają się w małych porcjach. Chciałbym utrzymać dopasowanie lasso po każdym kawałku. Mogę oczywiście dopasować cały model po obejrzeniu każdego nowego zestawu obserwacji. Byłoby to jednak dość nieefektywne, …

12 regression lasso

4

Jak zastosować do modelu LASSO metodę Iterative Reweighted Least Squares (IRLS)?

Zaprogramowałem regresję logistyczną przy użyciu algorytmu IRLS . Chciałbym zastosować karę LASSO , aby automatycznie wybrać odpowiednie funkcje. Przy każdej iteracji rozwiązuje się następujące kwestie: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Niech będzie nieujemną liczbą rzeczywistą. Nie penalizuję przechwytywania, jak sugerowano w The Elements of. Nauka statystyczna . To samo dotyczy już zerowych współczynników. …

12 logistic generalized-linear-model feature-selection lasso convex

2

Pokazuje równoważność

Według odniesień Księga 1 , Księga 2 i papier . Wspomniano, że istnieje równoważność między regresją regulowaną (Ridge, LASSO i Elastic Net) a ich formułami ograniczeń. Patrzyłem również na Cross Validated 1 i Cross Validated 2 , ale nie widzę wyraźnej odpowiedzi pokazującej, że równoważność lub logika. Moje pytanie brzmi …

12 regression optimization lasso ridge-regression elastic-net

1

Dlaczego R Squared nie jest dobrym miernikiem dopasowania regresji za pomocą LASSO?

Czytałem w kilku miejscach, że R Squared nie jest idealną miarą, gdy model jest dopasowany przy użyciu LASSO. Jednak nie jestem do końca pewien , dlaczego tak jest. Ponadto, czy możesz polecić najlepszą alternatywę?

12 regression lasso r-squared penalized

4

Co powoduje, że lasso jest niestabilne przy wyborze funkcji?

argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Czy istnieje podobne twierdzenie dotyczące lasso? Jeśli istnieje takie twierdzenie, nie tylko zagwarantuje ono stabilność lasso, ale także zapewni lasso bardziej sensowną interpretację: lasso może odkryć wektor współczynnika regresji rzadkiej ccc który jest używany do …

12 regression self-study feature-selection lasso regularization

1

Interpretacja współczynników regresji LASSO

Obecnie pracuję nad budowaniem modelu predykcyjnego dla wyniku binarnego na zbiorze danych z ~ 300 zmiennymi i 800 obserwacjami. Dużo przeczytałem na tej stronie o problemach związanych z regresją krokową i dlaczego jej nie używać. Czytałem o regresji LASSO i jej możliwościach wyboru funkcji i udało mi się ją wdrożyć …

12 multiple-regression predictive-models interpretation regression-coefficients lasso

2

Dlaczego regresja kalenicy nie może zapewnić lepszej interpretacji niż LASSO?

Mam już pojęcie o zaletach i wadach regresji grzbietu i LASSO. W przypadku LASSO kara karna L1 da rzadki wektor współczynnika, który można postrzegać jako metodę wyboru cech. Istnieją jednak pewne ograniczenia dotyczące LASSO. Jeśli funkcje mają wysoką korelację, LASSO wybierze tylko jedną z nich. Ponadto w przypadku problemów, w …

12 feature-selection lasso regularization ridge-regression elastic-net

1

Wybór zakresu i gęstości siatki dla parametru regularyzacji w LASSO

Tymczasem studiuję LASSO ( operator najmniejszego bezwzględnego skurczu i operatora selekcji). Widzę, że optymalną wartość parametru regularyzacji można wybrać poprzez weryfikację krzyżową. Widzę również w regresji grzbietu i wielu metodach, które stosują regularyzację, możemy użyć CV, aby znaleźć optymalny parametr regularyzacji (mówiąc karę). Teraz moje pytanie dotyczy początkowych wartości górnej …

12 lasso regularization shrinkage

Pytania otagowane jako lasso