Statystyki i duże zbiory danych elastic-net

1

Jakie są zalety i wady korzystania z LARS [1] w porównaniu ze stosowaniem opadania współrzędnych w celu dopasowania regresji liniowej regulowanej przez L1? Interesują mnie głównie aspekty wydajności (moje problemy występują zwykle Nw setkach tysięcy i p<20). Jednak wszelkie inne spostrzeżenia byłyby również mile widziane. edytuj: Od kiedy opublikowałem pytanie, …

13 regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

1

Różnice między PROC Mixed i lme / lmer w R - stopnie swobody

Uwaga: to pytanie jest repost, ponieważ moje poprzednie pytanie musiało zostać usunięte ze względów prawnych. Porównując PROC MIXED z SAS z funkcją lmez nlmepakietu w R, natknąłem się na pewne dość mylące różnice. Mówiąc dokładniej, stopnie swobody w różnych testach różnią się między PROC MIXEDi lmezastanawiałem się, dlaczego. Zacznij od …

12 r mixed-model sas degrees-of-freedom pdf unbiased-estimator distance-functions functional-data-analysis hellinger time-series outliers c++ relative-risk absolute-risk rare-events regression t-test multiple-regression survival teaching multiple-regression regression self-study t-distribution machine-learning recommender-system self-study binomial standard-deviation data-visualization r predictive-models pearson-r spearman-rho r regression modeling r categorical-data data-visualization ggplot2 many-categories machine-learning cross-validation weka microarray variance sampling monte-carlo regression cross-validation model-selection feature-selection elastic-net distance-functions information-theory r regression mixed-model random-effects-model fixed-effects-model dataset data-mining

2

Współrzędne zejścia dla lasso lub elastycznej siatki

Czy są jakieś dobre artykuły lub książki dotyczące wykorzystania opadania współrzędnych dla L1 (lasso) i / lub regularyzacji elastycznej siatki dla problemów z regresją liniową?

12 regression references lasso regularization elastic-net

2

Pokazuje równoważność

Według odniesień Księga 1 , Księga 2 i papier . Wspomniano, że istnieje równoważność między regresją regulowaną (Ridge, LASSO i Elastic Net) a ich formułami ograniczeń. Patrzyłem również na Cross Validated 1 i Cross Validated 2 , ale nie widzę wyraźnej odpowiedzi pokazującej, że równoważność lub logika. Moje pytanie brzmi …

12 regression optimization lasso ridge-regression elastic-net

2

Dlaczego regresja kalenicy nie może zapewnić lepszej interpretacji niż LASSO?

Mam już pojęcie o zaletach i wadach regresji grzbietu i LASSO. W przypadku LASSO kara karna L1 da rzadki wektor współczynnika, który można postrzegać jako metodę wyboru cech. Istnieją jednak pewne ograniczenia dotyczące LASSO. Jeśli funkcje mają wysoką korelację, LASSO wybierze tylko jedną z nich. Ponadto w przypadku problemów, w …

12 feature-selection lasso regularization ridge-regression elastic-net

3

Lasso kontra adaptacyjny Lasso

LASSO i adaptacyjne LASSO to dwie różne rzeczy, prawda? (Dla mnie kary wyglądają inaczej, ale sprawdzam tylko, czy coś przegapiłem). Kiedy ogólnie mówisz o elastycznej siatce, to czy w specjalnym etui LASSO czy adaptacyjnym LASSO? Który robi pakiet glmnet, pod warunkiem, że wybierzesz alpha = 1? Adaptacyjny LASSO działa w …

12 lasso glmnet elastic-net oracle

1

Różnica między ElasticNet w scikit-learn Python i Glmnet w R.

Czy ktoś próbował sprawdzić, czy dopasowanie modelu elastycznej sieci ElasticNetw scikit-learn w Pythonie i glmnetR do tego samego zestawu danych daje identyczne wyniki arytmetyczne? Eksperymentowałem z wieloma kombinacjami parametrów (ponieważ dwie funkcje różnią się wartościami domyślnymi, które przekazują argumentom), a także skalowaniem danych, ale wydaje się, że nic nie daje …

11 machine-learning scikit-learn glmnet elastic-net

2

Jakie są najważniejsze „wczesne artykuły” na temat metod regularyzacji?

W kilku odpowiedziach widziałem, jak użytkownicy CrossValidated sugerują OP znaleźć wczesne artykuły na temat Lasso, Ridge i Elastic Net. Dla potomnych, jakie są przełomowe prace na temat Lasso, Ridge i Elastic Net?

10 references lasso regularization ridge-regression elastic-net

1

Replikowanie wyników regresji liniowej glmnet przy użyciu ogólnego optymalizatora

Jak mówi tytuł, próbuję powielić wyniki z glmnet linear przy użyciu optymalizatora LBFGS z biblioteki lbfgs. Ten optymalizator pozwala nam dodać termin regulatora L1 bez martwienia się o różnicę, o ile nasza funkcja celu (bez terminu regulatora L1) jest wypukła. Problem regresji liniowej siatki elastycznej w papierze glmnet podaje minβ∈ …

10 r regression regularization glmnet elastic-net

3

Zamieszanie związane z elastyczną siatką

Czytałem ten artykuł dotyczący elastycznej siatki. Mówią, że używają elastycznej siatki, ponieważ jeśli użyjemy tylko Lasso, zwykle wybierany jest tylko jeden predyktor spośród predyktorów, które są wysoce skorelowane. Ale czy nie tego chcemy? Mam na myśli, że ratuje nas przed problemem wielokoliniowości, prawda? Wszelkie sugestie / wyjaśnienia?

10 regression lasso elastic-net

1

Karane metody dla danych jakościowych: łączenie poziomów w czynnik

Modele ukarane mogą być wykorzystane do oszacowania modeli, w których liczba parametrów jest równa lub nawet większa niż wielkość próbki. Taka sytuacja może wystąpić w logarytmiczno-liniowych modelach dużych rzadkich tabel danych kategorialnych lub zliczających. W tych ustawieniach często jest również pożądane lub pomocne zwijanie tabel poprzez łączenie poziomów czynnika, przy …

10 categorical-data lasso elastic-net log-linear many-categories

2

Oblicz krzywą ROC dla danych

Mam więc 16 prób, w których próbuję uwierzytelnić osobę z cechy biometrycznej za pomocą Hamminga. Mój próg jest ustawiony na 3,5. Moje dane są poniżej i tylko próba 1 jest prawdziwie pozytywna: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 …

9 mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

Pytania otagowane jako elastic-net