Statystyki i duże zbiory danych lasso

5

Ten post jest następujący: dlaczego oszacowanie grzbietu staje się lepsze niż OLS poprzez dodanie stałej do przekątnej? Oto moje pytanie: O ile mi wiadomo, w regularyzacji grzbietu stosuje się -norm (odległość euklidesowa). Ale dlaczego używamy kwadratu tej normy? (bezpośrednie zastosowanie dałoby pierwiastek kwadratowy z sumy beta kwadratu).ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2 Dla porównania, nie …

12 lasso regularization ridge-regression

3

Lasso kontra adaptacyjny Lasso

LASSO i adaptacyjne LASSO to dwie różne rzeczy, prawda? (Dla mnie kary wyglądają inaczej, ale sprawdzam tylko, czy coś przegapiłem). Kiedy ogólnie mówisz o elastycznej siatce, to czy w specjalnym etui LASSO czy adaptacyjnym LASSO? Który robi pakiet glmnet, pod warunkiem, że wybierzesz alpha = 1? Adaptacyjny LASSO działa w …

12 lasso glmnet elastic-net oracle

3

Jak obsługiwać wartości NA metodą kurczliwości (Lasso) przy użyciu glmnet

Używam „glmnet” do regresji lasso w GWAS. Niektóre warianty i pojedyncze osoby mają brakujące wartości i wydaje się, że glmnet nie może obsłużyć brakujących wartości. Czy jest na to jakieś rozwiązanie? czy jest jakiś inny pakiet, który może obsłużyć brakujące wartości w regresji lasso? Oto moje skrypty. > library(glmnet) > …

12 missing-data lasso glmnet

2

Dokładna definicja miary dewiacji w pakiecie glmnet, z weryfikacją krzyżową?

Dla mojego obecnego reseach używam metody Lasso poprzez pakiet glmnet w R na zmiennej zależnej dwumianowej. W glmnet optymalna lambda jest określana poprzez walidację krzyżową, a uzyskane modele można porównać z różnymi miarami, np. Błędem błędnej klasyfikacji lub dewiacją. Moje pytanie: jak dokładnie definiuje się dewiację w glmnet? Jak to …

12 cross-validation lasso glmnet deviance lars

1

Jak interpretować wyniki, gdy zarówno grzbiet, jak i lasso oddzielnie działają dobrze, ale dają różne współczynniki

Korzystam z modelu regresji zarówno z Lasso, jak i Ridge'em (aby przewidzieć dyskretną zmienną wyniku w zakresie od 0-5). Przed uruchomieniem modelu używam SelectKBestmetody scikit-learnzmniejszenia zestawu funkcji z 250 do 25 . Bez wstępnego wyboru funkcji, zarówno Lasso, jak i Ridge dają niższe wyniki dokładności [co może wynikać z małej …

11 regression predictive-models feature-selection lasso ridge-regression

2

Krzyżowa walidacja po LASSO w złożonych danych pomiarowych

Próbuję dokonać wyboru modelu na niektórych predyktorach kandydujących przy użyciu LASSO z ciągłym wynikiem. Celem jest wybór optymalnego modelu o najlepszej wydajności predykcji, co zwykle można wykonać przez K-krotnie walidację krzyżową po uzyskaniu ścieżki rozwiązania parametrów strojenia z LASSO. Problem polega na tym, że dane pochodzą ze złożonego, wieloetapowego projektu …

11 cross-validation survey lasso glmnet

2

Programowanie kwadratowe i Lasso

Próbuję wykonać regresję lasso, która ma następującą postać: Minimalizuj w( Y - X w ) ′ ( Y - X w ) + λwww( Y- Xw )′( Y- Xw ) + λ| w |1(Y−Xw)′(Y−Xw)+λ|w|1(Y - Xw)'(Y - Xw) + \lambda \;|w|_1 Biorąc pod uwagę , doradzono mi, aby znaleźć optymalne …

11 regression lasso quadratic-form

4

Jak naprawić jeden współczynnik i dopasować inne za pomocą regresji

Chciałbym ręcznie naprawić pewien współczynnik, powiedzmy , a następnie dopasować współczynniki do wszystkich innych predyktorów, zachowując w modelu.β 1 = 1,0β1=1.0β1=1.0\beta_1=1.0β1=1.0β1=1.0\beta_1=1.0 Jak mogę to osiągnąć za pomocą R? Szczególnie chciałbym pracować z LASSO ( glmnet), jeśli to możliwe. Alternatywnie, jak mogę ograniczyć ten współczynnik do określonego zakresu, powiedzmy ?0.5≤β1≤1.00.5≤β1≤1.00.5\le\beta_1\le1.0

11 r multiple-regression lasso glmnet constrained-regression

1

Ridge i LASSO otrzymali strukturę kowariancji?

Po przeczytaniu rozdziału 3 w elementach statystycznego uczenia się (Hastie, Tibshrani i Friedman) zastanawiałem się, czy możliwe jest wdrożenie słynnych metod skurczu cytowanych w tytule tego pytania ze względu na strukturę kowariancji, tj. Zminimalizowanie (być może bardziej ogólnego ) ilość ( y⃗ - Xβ⃗ )T.V.- 1( y⃗ - Xβ⃗ ) …

11 lasso ridge-regression

3

Jak uzasadnione jest wybranie w modelu LASSO, aby uzyskać liczbę niezerowych predyktorów, jakich pragnie?

Kiedy określam swoją lambda poprzez walidację krzyżową, wszystkie współczynniki stają się zerowe. Mam jednak pewne wskazówki z literatury, że niektóre z predyktorów powinny zdecydowanie wpłynąć na wynik. Czy śmieci to arbitralne wybranie lambda, aby było tak wiele rzadkości, jak się chce? Chcę wybrać 10 najlepszych predyktorów spośród 135 dla modelu …

11 lasso

4

Dopasowanie Lasso przez zejście współrzędnych: implementacje open source? [Zamknięte]

Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte w zeszłym roku . Jakie implementacje typu open source - w jakimkolwiek języku - istnieją, które mogą obliczać ścieżki regulacyjne lasso dla regresji liniowej poprzez …

11 regression lasso regularization

2

Czy wzrosnąć, gdy

Jeśli β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 , może ∥β∗∥2‖β∗‖2\|\beta^*\|_2 wzrosnąć, gdy λλ\lambda wzrasta? Myślę, że to jest możliwe. Chociaż ∥β∗∥1‖β∗‖1\|\beta^*\|_1 nie rośnie, gdy λλ\lambda rośnie (mój dowód ), ∥β∗∥2‖β∗‖2\|\beta^*\|_2 może wzrosnąć. Poniższy rysunek pokazuje możliwość. Kiedy λλ\lambda rośnie, jeśli β∗β∗\beta^* przemieszcza się (liniowo) od PPP do QQQ , wtedy ∥β∗∥2‖β∗‖2\|\beta^*\|_2 rośnie, podczas gdy …

11 lasso

4

Jak radzić sobie z brakującymi wartościami, aby przygotować dane do wyboru funkcji w LASSO?

Moja sytuacja: mała wielkość próby: 116 binarna zmienna wyniku długa lista zmiennych objaśniających: 44 zmienne objaśniające nie pochodziły z mojej głowy; ich wybór opierał się na literaturze. większość przypadków w próbie i większość zmiennych ma brakujące wartości. Podejdź do wybranego wyboru funkcji: LASSO Pakiet glmnet R nie pozwala mi uruchomić …

11 r spss lasso data-imputation

1

Jak LASSO wybiera spośród predyktorów współliniowych?

Szukam intuicyjnej odpowiedzi, dlaczego model GLM LASSO wybiera określony predyktor z grupy wysoce skorelowanych i dlaczego robi to inaczej niż najlepszy wybór funkcji podzbioru. Z geometrii LASSO pokazanej na ryc. 2 w Tibshirani 1996 doprowadzono mnie do przekonania, że LASSO wybiera predyktor z większą wariancją. Załóżmy teraz, że używam najlepszej …

11 feature-selection lasso

2

Próg miękki a penalizacja Lasso

Staram się podsumować to, co do tej pory rozumiałem w karanej analizie wielowymiarowej z wielowymiarowymi zestawami danych, i wciąż uzyskanie właściwej definicji kary miękkiego progowania w porównaniu z penalizacją Lasso (lub ).L1L1L_1 Dokładniej, wykorzystałem rzadką regresję PLS do analizy 2-blokowej struktury danych, w tym danych genomowych ( polimorfizmy pojedynczego nukleotydu …

11 multivariate-analysis lasso feature-selection genetics

Pytania otagowane jako lasso