Pytania otagowane jako lasso

Metoda regularyzacji modeli regresji, która zmniejsza współczynniki do zera, dzięki czemu niektóre z nich są równe zeru. W ten sposób lasso dokonuje wyboru funkcji.

3
LASSO z warunkami interakcji - czy jest w porządku, jeśli główne efekty zostaną zmniejszone do zera?
Regresja LASSO zmniejsza współczynniki do zera, zapewniając w ten sposób efektywny wybór modelu. Uważam, że w moich danych występują znaczące interakcje między zmiennymi nominalnymi i ciągłymi zmiennymi towarzyszącymi. Jednak niekoniecznie „główne efekty” prawdziwego modelu są znaczące (niezerowe). Oczywiście tego nie wiem, ponieważ prawdziwy model jest nieznany. Moim celem jest znalezienie …
2
Lasso bayesowskie kontra zwykłe lasso
Dostępne są różne programy wdrożeniowe dla lasso . Wiem wiele dyskusji na temat podejścia bayesowskiego i częstego na różnych forach. Moje pytanie jest bardzo specyficzne dla lasso - jakie są różnice lub zalety lasso baysian w porównaniu ze zwykłym lasso ? Oto dwa przykłady implementacji w pakiecie: # just example …
3
Dlaczego Lars i Glmnet oferują różne rozwiązania problemu Lasso?
Chcę lepiej zrozumieć pakiety R Larsi Glmnetużywane do rozwiązania problemu Lasso: (dla zmiennych i próbek , patrz www.stanford.edu/~hastie/Papers/glmnet.pdf na stronie 3)m i n( β0β) ∈ Rp + 1[ 12)N.∑ja = 1N.( yja- β0- xT.jaβ)2)+ λ | |β| |l1]mjan(β0β)∈Rp+1[12)N.∑ja=1N.(yja-β0-xjaT.β)2)+λ||β||l1]min_{(\beta_0 \beta) \in R^{p+1}} \left[\frac{1}{2N}\sum_{i=1}^{N}(y_i-\beta_0-x_i^T\beta)^2 + \lambda||\beta ||_{l_{1}} \right]pppN.N.N Dlatego zastosowałem je oba …
1
Jeśli LASSO jest równoważne regresji liniowej z Laplace'em wcześniej, to jak może być masa na zbiorach ze składowymi zerowymi?
Wszyscy dobrze znamy dobrze udokumentowane w literaturze pojęcie, że optymalizacja LASSO (dla uproszczenia ogranicza tu uwagę na przypadek regresji liniowej) jest równoważny modelowi liniowemu z błędami Gaussa, w którym parametrom nadawany jest Laplace przed \ exp (- \ lambda \ | \ beta \ | _1) Wiemy również, że wyższy …
5
Czy nadal musimy dokonywać wyboru funkcji, korzystając z algorytmów regularyzacyjnych?
Mam jedno pytanie dotyczące potrzeby korzystania z metod wyboru funkcji (losowe wartości ważności cech lasów lub metody wyboru cech Univariate itp.) Przed uruchomieniem algorytmu uczenia statystycznego. Wiemy, że aby uniknąć przeregulowania, możemy wprowadzić karę regularyzacyjną dla wektorów masy. Więc jeśli chcę zrobić regresję liniową, mógłbym wprowadzić parametry L2 lub L1, …
2
KKT kontra nieograniczone sformułowanie regresji lasso
Regresja penalizowana przez L1 (aka lasso) jest prezentowana w dwóch formulacjach. Niech dwie funkcje celu to Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1.Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1. Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1. Następnie dwie różne formulacje to argminβQ1argminβQ1 \text{argmin}_\beta \; Q_1 zastrzeżeniem ||β||1≤t,||β||1≤t, ||\beta||_1 \leq t, i równoważnie argminβQ2.argminβQ2. \text{argmin}_\beta \; Q_2. …
2
Oszacowanie R-kwadrat i istotności statystycznej na podstawie modelu regresji karanej
Używam ukaranego pakietu R, aby uzyskać skurczone oszacowania współczynników dla zbioru danych, w którym mam dużo predyktorów i mało wiem, które z nich są ważne. Po wybraniu parametrów dostrajania L1 i L2 i jestem zadowolony z moich współczynników, czy istnieje statystycznie rozsądny sposób na podsumowanie dopasowania modelu z czymś w …
2
Jak sensowne jest wykonywanie OLS po wyborze zmiennej LASSO?
Ostatnio odkryłem, że w stosowanej literaturze ekonometrycznej, gdy mamy do czynienia z problemami wyboru cech, nierzadko wykonuje się LASSO, a następnie regresję OLS przy użyciu wybranych zmiennych. Zastanawiałem się, jak możemy zakwalifikować ważność takiej procedury. Czy spowoduje to problemy takie jak pominięte zmienne? Jakieś dowody wskazujące, że jest on bardziej …
1
Co wyciągnąć z tej fabuły lasso (glmnet)
Poniżej znajduje się wykres glmnet z domyślną wartością alfa (1, stąd lasso) przy użyciu mtcarszestawu danych w R mpgjako DV i innych jako zmiennych predykcyjnych. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Co możemy wywnioskować z tej działki dotyczące różnych zmiennych, zwłaszcza am, cyli wt(czerwone, czarne i jasne niebieskie linie)? Jak sformułujemy wynik w raporcie, …
2
Czy LASSO cierpi na te same problemy co regresja krokowa?
Krokowe algorytmiczne metody selekcji zmiennych mają tendencję do wybierania dla modeli, które mniej lub bardziej uwzględniają każde oszacowanie w modelach regresji ( ββ\beta i ich SE, wartości p , statystyki F itp.) I prawdopodobnie wykluczą prawdziwe predyktory, takie jak obejmują fałszywe predyktory zgodnie z dość dojrzałą literaturą symulacyjną. Czy LASSO …
1
Czy istnieje wyraźny zestaw warunków, w których ścieżki lasso, grzbiety lub elastyczne siatki są monotonne?
Pytanie Co wyciągnąć z tego wykresu lasso (glmnet) pokazuje ścieżki rozwiązania estymatora lasso, które nie są monotoniczne. Oznacza to, że niektórzy współpracownicy rosną w wartości bezwzględnej, zanim się skurczą. Zastosowałem te modele do kilku różnych rodzajów zestawów danych i nigdy nie widziałem tego zachowania „na wolności” i do dziś zakładałem, …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.