Pytania otagowane jako lasso

Jestem nowy w glmnetpakiecie i nadal nie jestem pewien, jak interpretować wyniki. Czy ktoś mógłby mi pomóc przeczytać poniższy wykres śledzenia? Wykres uzyskiwano, wykonując następujące czynności: library(glmnet) return <- matrix(ret.ff.zoo[which(index(ret.ff.zoo)==beta.df$date[2]), ]) data <- matrix(unlist(beta.df[which(beta.df$date==beta.df$date[2]), ][ ,-1]), ncol=num.factors) model <- cv.glmnet(data, return, standardize=TRUE) op <- par(mfrow=c(1, 2)) plot(model$glmnet.fit, "norm", label=TRUE) plot(model$glmnet.fit, …

15 r  data-visualization  interpretation  lasso  glmnet 

Zastanawiam się, dlaczego metody wyboru modeli LASSO i LARS są tak popularne, mimo że są to po prostu warianty stopniowego wybierania do przodu (a zatem cierpią na zależność od ścieżki)? Podobnie, dlaczego metody Ogólnego do Specyficznego (GETS) wyboru modelu są w większości ignorowane, nawet jeśli działają lepiej niż LARS / …

15 feature-selection  model-selection  lasso  stepwise-regression  lars 

Czytałem najpopularniejsze książki w nauce statystycznej 1- Elementy uczenia statystycznego. 2- Wprowadzenie do uczenia statystycznego . Obaj wspominają, że regresja kalenicy ma dwie równoważne formuły. Czy istnieje zrozumiały matematyczny dowód tego wyniku? Przeszedłem również przez Cross Validated , ale nie mogę znaleźć tam konkretnego dowodu. Ponadto, czy LASSO będzie korzystać …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

Czy są jakieś wyniki analityczne lub prace eksperymentalne dotyczące optymalnego wyboru współczynnika kary karnej ℓ1ℓ1\ell_1Przez „ optymalny” rozumiem parametr, który maksymalizuje prawdopodobieństwo wyboru najlepszego modelu lub minimalizuje oczekiwaną stratę. Pytam, ponieważ często niepraktyczne jest wybranie parametru za pomocą weryfikacji krzyżowej lub bootstrapu, albo z powodu dużej liczby przypadków problemu, albo …

15 model-selection  lasso  shrinkage 

Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 3 lata temu . Buduję regresję logistyczną w R za pomocą metody LASSO z funkcjami cv.glmnetwyboru lambdai glmnetdla ostatecznego modelu. Znam już wszystkie wady związane …

15 r  logistic  categorical-data  lasso  glmnet 

Zdefiniuj oszacowanie lasso gdzie i ^ {th} wiersz x_i \ in \ mathbb {R} ^ p macierzy projektowej X \ in \ mathbb {R} ^ {n \ times p} jest wektorem zmiennych towarzyszących dla wyjaśnienia odpowiedzi stochastycznej y_i (dla i = 1, \ kropki n ).β^λ=argminβ∈Rp12n∥y−Xβ∥22+λ∥β∥1,β^λ=arg⁡minβ∈Rp12n‖y−Xβ‖22+λ‖β‖1,\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} …

14 lasso  regularization 

Chciałbym utworzyć losowy las przy użyciu następującego procesu: Zbuduj drzewo na losowych próbkach danych i funkcji, używając przyrostu informacji do określania podziałów Zakończ węzeł liścia, jeśli przekracza on z góry określoną głębokość LUB jakiekolwiek rozszczepienie spowodowałoby, że liczba liści byłaby mniejsza niż z góry określone minimum Zamiast przypisywać etykietę klasy …

14 classification  random-forest  lasso  ensemble 

Ogólnie rozumiem, że AIC zajmuje się kompromisem między dobrem dopasowania modelu a złożonością modelu. A jado= 2 k - 2 l n ( L )AIC=2k−2ln(L)AIC =2k -2ln(L) kkk = liczba parametrów w modelu L.LL = prawdopodobieństwo Bayesowskie kryterium informacyjne BIC jest ściśle powiązane z AIC. AIC karać liczbę parametrów słabiej …

14 cross-validation  lasso  aic  ridge-regression  bic 

Jaka jest asymptotyczna złożoność czasowa regresji Lasso wraz ze wzrostem liczby wierszy lub kolumn?

14 lasso  time-complexity 

Istnieje kilka prac matematycznych opisujących lasso bayesowskie, ale chcę przetestować poprawny kod JAGS, którego mogę użyć. Czy ktoś może opublikować próbkę kodu BŁĘDY / JAGS, który implementuje regulowaną regresję logistyczną? Każdy schemat (L1, L2, Elasticnet) byłby świetny, ale preferowany jest Lasso. Zastanawiam się także, czy istnieją ciekawe alternatywne strategie wdrażania.

14 bayesian  logistic  lasso  jags  regularization 

Czytam o najlepszym wyborze podzbiorów w książce Elementy statystycznego uczenia się. Jeśli mam 3 predyktory , tworzę podzbiorów:2 3 = 8x1, x2), x3)x1,x2,x3x_1,x_2,x_32)3)= 823=82^3=8 Podzbiór bez predyktorów podzbiór z predyktoremx1x1x_1 podzbiór z predyktoremx2)x2x_2 podzbiór z predyktoremx3)x3x_3 podzbiór z predyktoramix1, x2)x1,x2x_1,x_2 podzbiór z predyktoramix1, x3)x1,x3x_1,x_3 podzbiór z predyktoramix2), x3)x2,x3x_2,x_3 podzbiór z …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

nazwa operatora {diag}}\newcommand{\diag}{\operatorname{diag}} Mamy problem: minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right), przy założeniu, że: ∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). Czy w tym przypadku istnieje rozwiązanie w formie zamkniętej? Mam to: (XTX)−1=diag(σ−21,...,σ−2d),(XTX)−1=diag⁡(σ1−2,...,σd−2),(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right), więc myślę, że odpowiedź brzmi : wj=yjmax{0,1−λn|yj|},wj=yjmax{0,1−λn|yj|},w\,^j=y\,^j\max\left\{0,1-\lambda \frac{n}{|y^j|}\right\}, dla yj=∑i=1nyixijσ2iyj=∑i=1nyixijσi2y\,^j=\displaystyle\sum_{i=1}^n\frac{y_ix_i\,^j}{\sigma_i^2} , ale nie jestem pewien.

13 mathematical-statistics  lasso  computational-statistics  regularization 

Jedną z motywów elastycznej siatki było następujące ograniczenie LASSO: W przypadku lasso wybiera co najwyżej n zmiennych przed nasyceniem, ze względu na naturę problemu optymalizacji wypukłej. Wydaje się, że jest to cecha ograniczająca metodę wyboru zmiennych. Co więcej, lasso nie jest dobrze zdefiniowane, chyba że granica normy L1 współczynników jest …

13 regression  optimization  feature-selection  lasso 

Tabela 18.1 w Elementy uczenia statystycznego podsumowuje wydajność kilku klasyfikatorów w zestawie danych 14 klas. Porównuję nowy algorytm z lasso i elastyczną siecią dla takich problemów z klasyfikacją wieloklasową. Korzystając z glmnetwersji 1.5.3 (R 2.13.0), nie jestem w stanie odtworzyć punktu 7. ( wielomianowy L_1) w tabeli, w której podano …

13 classification  lasso  glmnet 

Chciałbym uzyskać współczynniki dla problemu LASSO | | Y- Xβ| | +λ | | β| |1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Problem polega na tym, że funkcje glmnet i lars dają różne odpowiedzi. Dla funkcji glmnet proszę o współczynniki λ / | | Y| |λ/||Y||\lambda/||Y||zamiast po prostu λλ\lambda , ale wciąż otrzymuję różne odpowiedzi. …

13 r  machine-learning  regression  lasso  regularization