Statystyki i duże zbiory danych regularization

3

GLMNET czy LARS do obliczania rozwiązań LASSO?

Chciałbym uzyskać współczynniki dla problemu LASSO | | Y- Xβ| | +λ | | β| |1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Problem polega na tym, że funkcje glmnet i lars dają różne odpowiedzi. Dla funkcji glmnet proszę o współczynniki λ / | | Y| |λ/||Y||\lambda/||Y||zamiast po prostu λλ\lambda , ale wciąż otrzymuję różne odpowiedzi. …

13 r machine-learning regression lasso regularization

1

LARS vs zejście współrzędnych dla lasso

Jakie są zalety i wady korzystania z LARS [1] w porównaniu ze stosowaniem opadania współrzędnych w celu dopasowania regresji liniowej regulowanej przez L1? Interesują mnie głównie aspekty wydajności (moje problemy występują zwykle Nw setkach tysięcy i p<20). Jednak wszelkie inne spostrzeżenia byłyby również mile widziane. edytuj: Od kiedy opublikowałem pytanie, …

13 regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

2

Dlaczego warto używać grupowego lasso zamiast lasso?

Przeczytałem, że grupa lasso służy do wyboru zmiennych i rzadkości w grupie zmiennych. Chcę poznać intuicję tego twierdzenia. Dlaczego lasso grupowe jest lepsze od lasso? Dlaczego ścieżka rozwiązania lasso grupowe nie jest fragmentarycznie liniowa?

13 regression feature-selection lasso regularization

1

Ścieżki współczynników - porównanie regresji grzbietu, lassa i siatki elastycznej

Chciałbym porównać modele wybrane z kalenicą, lasso i elastyczną siatką. Ryc. Poniżej pokazuje ścieżki współczynników przy użyciu wszystkich 3 metod: grzbietu (ryc. A, alfa = 0), lasso (ryc. B; alfa = 1) i elastycznej siatki (ryc. C; alfa = 0,5). Optymalne rozwiązanie zależy od wybranej wartości lambda, która jest wybierana …

13 r multiple-regression modeling regularization

2

Kiedy LASSO wybiera skorelowane predyktory?

Korzystam z pakietu „lars” w języku R z następującym kodem: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) …

13 correlation feature-selection lasso regularization ridge-regression

2

Co to jest ograniczenie maxnorm? Jak to jest użyteczne w sieciach neuronowych splotowych?

Oto przykładowy kod keras, który go używa: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

13 neural-networks regularization conv-neural-network optimization

2

Co to są prawidłowości i regularyzacja?

Coraz częściej słyszę te słowa, ucząc się uczenia maszynowego. W rzeczywistości niektórzy ludzie zdobyli medal Fieldsa, pracując nad prawidłowością równań. Sądzę więc, że jest to termin, który przenosi się z fizyki statystycznej / matematyki na uczenie maszynowe. Oczywiście wiele osób, o które pytałem, nie mogło tego intuicyjnie wyjaśnić. Wiem, że …

12 machine-learning self-study terminology regularization definition

5

Rekurencyjny (online) uregulowany algorytm najmniejszych kwadratów

Czy ktoś może skierować mnie w stronę internetowego (rekurencyjnego) algorytmu regularyzacji Tichonowa (uregulowane najmniejsze kwadraty)? W trybie offline obliczyłem β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY przy użyciu mojego oryginalnego zestawu danych, w którym znaleziono λλλ przy użyciu n-krotnej weryfikacji krzyżowej. Nową wartość yyy można przewidzieć dla danego xxx używając y=xTβ^y=xTβ^y=x^T\hat\beta . W trybie online ciągle …

12 regression machine-learning least-squares regularization online

2

GLM po wyborze lub legalizacji modelu

Chciałbym zadać to pytanie w dwóch częściach. Oba dotyczą uogólnionego modelu liniowego, ale pierwszy dotyczy wyboru modelu, a drugi dotyczy regularyzacji. Tło: Używam modeli GLM (liniowych, logistycznych, regresji gamma) zarówno do prognozowania, jak i do opisu. Kiedy odnoszę się do „ normalnych rzeczy, które robi się z regresją ”, mam …

12 regression model-selection regularization

2

Współrzędne zejścia dla lasso lub elastycznej siatki

Czy są jakieś dobre artykuły lub książki dotyczące wykorzystania opadania współrzędnych dla L1 (lasso) i / lub regularyzacji elastycznej siatki dla problemów z regresją liniową?

12 regression references lasso regularization elastic-net

4

Co powoduje, że lasso jest niestabilne przy wyborze funkcji?

argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Czy istnieje podobne twierdzenie dotyczące lasso? Jeśli istnieje takie twierdzenie, nie tylko zagwarantuje ono stabilność lasso, ale także zapewni lasso bardziej sensowną interpretację: lasso może odkryć wektor współczynnika regresji rzadkiej ccc który jest używany do …

12 regression self-study feature-selection lasso regularization

1

Zrozumienie negatywnej regresji kalenicy

Szukam literatury na temat negatywnej regresji kalenicy . W skrócie, jest to uogólnienie regresji liniowej grzbiet wykluczających λλ\lambda we wzorze β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.Przypadek pozytywny ma ładną teorię: jako funkcję straty, jako ograniczenie, jako wcześniejsze Bayesa ... ale czuję się zagubiony w wersji negatywnej …

12 regression regularization ridge-regression

2

Dlaczego regresja kalenicy nie może zapewnić lepszej interpretacji niż LASSO?

Mam już pojęcie o zaletach i wadach regresji grzbietu i LASSO. W przypadku LASSO kara karna L1 da rzadki wektor współczynnika, który można postrzegać jako metodę wyboru cech. Istnieją jednak pewne ograniczenia dotyczące LASSO. Jeśli funkcje mają wysoką korelację, LASSO wybierze tylko jedną z nich. Ponadto w przypadku problemów, w …

12 feature-selection lasso regularization ridge-regression elastic-net

1

Wybór zakresu i gęstości siatki dla parametru regularyzacji w LASSO

Tymczasem studiuję LASSO ( operator najmniejszego bezwzględnego skurczu i operatora selekcji). Widzę, że optymalną wartość parametru regularyzacji można wybrać poprzez weryfikację krzyżową. Widzę również w regresji grzbietu i wielu metodach, które stosują regularyzację, możemy użyć CV, aby znaleźć optymalny parametr regularyzacji (mówiąc karę). Teraz moje pytanie dotyczy początkowych wartości górnej …

12 lasso regularization shrinkage

1

Jaki jest związek między regularyzacją a metodą mnożników Lagrange'a?

Aby zapobiec nadmiernemu dopasowywaniu się ludzi, dodaj funkcję regularyzacji (proporcjonalną do kwadratowej sumy parametrów modelu) z parametrem regularyzacji do funkcji kosztu regresji liniowej. Czy ten parametr taki sam jak mnożnik lagrange'a? Czy zatem regularyzacja jest taka sama jak metoda mnożnika lagrange'a? Lub w jaki sposób te metody są połączone? λλλ\lambdaλλ\lambda

12 regression optimization regularization

Pytania otagowane jako regularization