Statystyki i duże zbiory danych lasso

3

Korzystanie z regularyzacji podczas wnioskowania statystycznego

Wiem o zaletach regularyzacji przy budowaniu modeli predykcyjnych (uprzedzenie vs. wariancja, zapobieganie nadmiernemu dopasowaniu). Zastanawiam się jednak, czy dobrym pomysłem jest również regularyzacja (lasso, kalenica, siatka elastyczna), gdy głównym celem modelu regresji jest wnioskowanie o współczynnikach (sprawdzenie, które predyktory są istotne statystycznie). Chciałbym usłyszeć ludzkie myśli, a także linki do …

18 inference lasso ridge-regression elastic-net selectiveinference

1

Założenia LASSO

W scenariuszu regresji LASSO, w którym y=Xβ+ϵy=Xβ+ϵy= X \beta + \epsilon , a oszacowania LASSO są podane przez następujący problem optymalizacji minβ||y−Xβ||+τ||β||1minβ||y−Xβ||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 Czy są jakieś założenia dystrybucyjne dotyczące ϵϵ\epsilon ? W scenariuszu OLS można oczekiwać, że ϵϵ\epsilon są niezależne i zwykle dystrybuowane. Czy …

18 regression lasso assumptions residuals

2

LASSO i grzbiet z perspektywy Bayesa: co z parametrem strojenia?

Mówi się, że estymatory regresji karnej, takie jak LASSO i kalenica, odpowiadają estymatorom bayesowskim z pewnymi priorytetami. Wydaje mi się (ponieważ nie wiem wystarczająco dużo na temat statystyki bayesowskiej), że dla ustalonego parametru strojenia istnieje konkretny wcześniejszy odpowiednik. Teraz częsty optymalizowałby parametr strojenia poprzez krzyżową weryfikację. Czy istnieje odpowiednik bayesowski …

17 bayesian lasso ridge-regression

1

Jak traktować predyktory jakościowe w LASSO

Używam LASSO, który ma pewne predyktory zmiennych jakościowych i niektóre ciągłe. Mam pytanie dotyczące zmiennych kategorialnych. Pierwszym krokiem, jaki rozumiem, jest rozbicie każdego z nich na atrapy, ujednolicenie ich pod kątem uczciwej kary, a następnie regres. Pojawia się kilka opcji traktowania zmiennych fikcyjnych: Uwzględnij wszystkie manekiny oprócz jednego dla każdego …

17 categorical-data regression-coefficients lasso intercept categorical-encoding

3

Ciągła zmienna zależna z porządkową zmienną niezależną

Biorąc pod uwagę ciągłą zmienną zależną y i zmienne niezależne, w tym zmienną porządkową X 1 , jak dopasować model liniowy R? Czy są artykuły na temat tego typu modelu?

17 r regression lasso ordinal-data predictor

3

Wnioskowanie po użyciu Lasso do wyboru zmiennych

Korzystam z Lasso do wyboru funkcji w relatywnie niskim wymiarze (n >> p). Po dopasowaniu modelu Lasso chcę użyć zmiennych towarzyszących o niezerowych współczynnikach, aby dopasować model bez kary. Robię to, ponieważ chcę obiektywnych szacunków, których Lasso nie może mi podać. Chciałbym również wartości p i przedziały ufności dla obiektywnego …

17 regression feature-selection lasso unbiased-estimator

2

Dlaczego Lasso lub ElasticNet działają lepiej niż Ridge, gdy funkcje są skorelowane

Mam zestaw 150 funkcji, a wiele z nich jest ze sobą bardzo skorelowanych. Moim celem jest przewidzenie wartości zmiennej dyskretnej, której zakres wynosi 1-8 . Mój rozmiar próbki wynosi 550 i używam 10-krotnej walidacji krzyżowej. AFAIK, wśród metod regularyzacji (Lasso, ElasticNet i Ridge), Ridge jest bardziej rygorystyczny w zakresie korelacji …

17 regression lasso regularization ridge-regression elastic-net

2

Dlaczego regresja kalenicowa nie zmniejszy niektórych współczynników do zera jak lasso?

Podczas wyjaśniania regresji LASSO często stosuje się schemat rombu i koła. Mówi się, że ponieważ kształt ograniczenia w LASSO jest diamentem, otrzymane rozwiązanie najmniejszych kwadratów może dotykać narożnika diamentu, powodując skurcz jakiejś zmiennej. Jednak w regresji grzbietu, ponieważ jest to okrąg, często nie dotyka osi. Nie mogłem zrozumieć, dlaczego nie …

16 regression lasso ridge-regression

1

Regresja wielowymiarowa: dlaczego wyjątkowy?

Próbuję przeczytać o badaniach w dziedzinie regresji wielowymiarowej; gdy jest większe niż , to znaczy p >> n . Wydaje się, że termin \ log p / n pojawia się często w odniesieniu do wskaźnika konwergencji dla estymatorów regresji.pppnnnp>>np>>np >> nlogp/nlog⁡p/n\log p/n Na przykład tutaj równanie (17) mówi, że dopasowanie …

16 regression lasso convergence high-dimensional

1

Dlaczego „zrelaksowane lasso” różni się od standardowego lasso?

Jeśli zaczniemy od zestawu danych , zastosujemy do niego Lasso i uzyskamy rozwiązanie β L , możemy ponownie zastosować Lasso do zbioru danych ( X S , Y ) , gdzie S jest zbiorem niezerowym indeksy β L , aby uzyskać rozwiązanie β R L , zwane „zrelaksowanym rozwiązaniem LASSO” …

16 regression optimization lasso regularization shrinkage

1

Jaki jest typowy zakres możliwych wartości parametru skurczu w regresji karanej?

W regresji lasso lub kalenicy należy określić parametr skurczu, często nazywany przez lub . Ta wartość jest często wybierana poprzez krzyżową weryfikację, sprawdzając kilka różnych wartości danych treningowych i sprawdzając, która daje najlepszą wartość, np. na danych testowych. Jaki zakres wartości należy sprawdzić? Czy to ?λλ\lambdaαα\alphaR2)R2)R^2( 0 , 1 )(0,1)(0,1)

16 regression lasso regularization ridge-regression penalized

1

Potrzeba centrowania i standaryzacji danych w regresji

Rozważ regresję liniową z pewną regularyzacją: Np. Znajdź który minimalizuje | | A x - b | | 2 + λ | | x | | 1xxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Zwykle kolumny A są znormalizowane, aby miały średnią zerową i normę jednostkową, podczas gdy jest wyśrodkowany, aby mieć średnią zerową. Chcę …

16 regression lasso regularization standardization

2

Dlaczego utrata normy L2 ma unikalne rozwiązanie, a utrata normy L1 ma prawdopodobnie wiele rozwiązań?

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Jeśli spojrzysz na górę tego postu, pisarz wspomina, że norma L2 ma unikalne rozwiązanie, a norma L1 ma prawdopodobnie wiele rozwiązań. Rozumiem to w kategoriach regularyzacji, ale nie w kategoriach użycia normy L1 lub normy L2 w funkcji straty. Jeśli spojrzysz na wykresy funkcji skalarnej x (x ^ 2 …

16 regression lasso regularization

1

Regularyzacja modeli ARIMA

Zdaję sobie sprawę z rodzaju regularyzacji typu LASSO, grzbietu i siatki elastycznej w modelach regresji liniowej. Pytanie: Czy ten (lub podobny) rodzaj oszacowania podlegającego sankcji można zastosować do modelowania ARIMA (z niepustą częścią MA)? Przy budowaniu modeli ARIMA wydaje się, że zwykle bierze się pod uwagę wstępnie wybraną kolejność maksymalnego …

15 time-series arima lasso regularization ridge-regression

1

Regresja w ustawieniu

Próbuję zobaczyć, czy wybrać regresję grzbietu , LASSO , regresję głównego składnika (PCR), czy częściowe najmniejsze kwadraty (PLS) w sytuacji, gdy istnieje duża liczba zmiennych / cech ( ppp ) i mniejsza liczba próbek ( n<pn<pn np>10np>10np>10n Zmienne ( i Y ) są skorelowane ze sobą w różnym stopniu.XXXYYY Moje …

15 regression pca lasso ridge-regression partial-least-squares

Pytania otagowane jako lasso