Statystyki i duże zbiory danych lasso

2

Standaryzacja a normalizacja regresji Lasso / Ridge'a

Wiem, że powszechną praktyką jest standaryzacja cech regresji grzbietu i lasso, jednak czy bardziej praktyczna byłaby normalizacja cech w skali (0,1) jako alternatywa dla standaryzacji z-score dla tych metod regresji?

11 normalization lasso standardization ridge-regression

1

LASSO zależność pomiędzy

Rozumiem, że regresja LASSO jest taka, że współczynniki regresji są wybrane w celu rozwiązania problemu minimalizacji: minβ. Y- Xβ∥2)2) s . t . ∥ β∥1≤ tminβ‖y-Xβ‖2)2) s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t W praktyce odbywa się to za pomocą mnożnika Lagrange'a, co powoduje problem do rozwiązania …

10 optimization lasso regularization lagrange-multipliers

2

Jakie są najważniejsze „wczesne artykuły” na temat metod regularyzacji?

W kilku odpowiedziach widziałem, jak użytkownicy CrossValidated sugerują OP znaleźć wczesne artykuły na temat Lasso, Ridge i Elastic Net. Dla potomnych, jakie są przełomowe prace na temat Lasso, Ridge i Elastic Net?

10 references lasso regularization ridge-regression elastic-net

1

Jak skaluje się Lasso z rozmiarem matrycy projektowej?

Jeśli mam macierz projektową , gdzie jest liczbą obserwacji wymiaru , jaka jest złożoność rozwiązania dla z Lasso wrt i ? Myślę, że odpowiedź powinna odnosić się do tego, jak jedna iteracja LASSO skaluje się z tymi parametrami, a nie do tego, jak skaluje się liczba iteracji (zbieżności), chyba że …

10 optimization lasso regularization time-complexity

3

Co znaczą statystycy, gdy mówią, że tak naprawdę nie rozumiemy, jak działa LASSO (regularyzacja)?

Byłem ostatnio na kilku rozmowach statystycznych na temat Lasso (regularyzacja), a kwestią, która wciąż się pojawia, jest to, że tak naprawdę nie rozumiemy, dlaczego Lasso działa lub dlaczego działa tak dobrze. Zastanawiam się, do czego odnosi się to oświadczenie. Oczywiście rozumiem, dlaczego Lasso działa technicznie, zapobiegając nadmiernemu dopasowaniu poprzez kurczenie …

10 machine-learning lasso regularization

2

Testowanie istotności współczynników w regresji logistycznej Lasso

[Podobne pytanie zostało zadane tutaj bez odpowiedzi] Dopasowałem model regresji logistycznej z regularyzacją L1 (regresja logistyczna Lasso) i chciałbym przetestować dopasowane współczynniki pod kątem istotności i uzyskać ich wartości p. Wiem, że testy Walda (na przykład) są opcją testowania znaczenia poszczególnych współczynników w pełnej regresji bez regularyzacji, ale w przypadku …

10 logistic statistical-significance regression-coefficients lasso

1

Jak przeprowadzić walidację krzyżową z cv.glmnet (regresja LASSO w R)?

Zastanawiam się, jak właściwie podejść do szkolenia i testowania modelu LASSO przy użyciu glmnet w R? W szczególności zastanawiam się, jak to zrobić, jeśli brak zewnętrznego zestawu danych testowych wymaga użycia weryfikacji krzyżowej (lub innego podobnego podejścia) do przetestowania mojego modelu LASSO. Pozwól mi rozbić mój scenariusz: Mam tylko jeden …

10 r cross-validation glmnet lasso

2

Używanie LASSO tylko do wyboru funkcji

Podczas mojej lekcji uczenia maszynowego dowiedzieliśmy się, jak regresja LASSO jest bardzo dobra w wykonywaniu wyboru funkcji, ponieważ wykorzystuje regulację .l1l1l_1 Moje pytanie: czy ludzie zwykle używają modelu LASSO tylko do dokonywania wyboru funkcji (a następnie kontynuują zrzucanie tych funkcji do innego modelu uczenia maszynowego), czy zwykle używają LASSO do …

10 feature-selection lasso regression-strategies

2

Przewaga LASSO nad wyborem do przodu / eliminacją do tyłu pod względem błędu prognozowania walidacji krzyżowej modelu

Otrzymałem trzy zredukowane modele z oryginalnego pełnego modelu przy użyciu wybór do przodu eliminacja wsteczna Technika penalizacji L1 (LASSO) Dla modeli uzyskanych za pomocą selekcji do przodu / eliminacji wstecznej uzyskałem oszacowane krzyżowo oszacowanie błędu prognozowania przy użyciu CVlmpakietu DAAGdostępnego w R. Do modelu wybranego przez LASSO użyłem cv.glm. Błąd …

10 cross-validation model-selection lasso stepwise-regression

3

Zamieszanie związane z elastyczną siatką

Czytałem ten artykuł dotyczący elastycznej siatki. Mówią, że używają elastycznej siatki, ponieważ jeśli użyjemy tylko Lasso, zwykle wybierany jest tylko jeden predyktor spośród predyktorów, które są wysoce skorelowane. Ale czy nie tego chcemy? Mam na myśli, że ratuje nas przed problemem wielokoliniowości, prawda? Wszelkie sugestie / wyjaśnienia?

10 regression lasso elastic-net

1

Czy w R „glmnet” pasuje do przechwytywania?

Mam sylwetkę modelu liniowego w R użyciem glmnet. Oryginalny (nieregulowany) model został dopasowany przy użyciu lmi nie miał stałego terminu (tj. Był w formie lm(y~0+x1+x2,data)). glmnetbierze macierz predyktorów i wektor odpowiedzi. Czytam glmnetdokumentację i nie mogę znaleźć wzmianki o tym stałym terminie. Czy istnieje sposób, aby poprosić glmneto wymuszenie dopasowania …

10 r regression lasso

3

Jak wykonać nieujemną regresję kalenicy?

Jak wykonać nieujemną regresję kalenicy? Lasso nieujemne jest dostępne w scikit-learn, ale dla grzbietu nie mogę wymusić nieujemności bety i rzeczywiście otrzymuję współczynniki ujemne. Czy ktoś wie, dlaczego tak jest? Czy mogę również zastosować grzbiet w kategoriach zwykłych najmniejszych kwadratów? Przeniesiono to do innego pytania: Czy mogę wdrożyć regresję kalenicy …

10 regression lasso regularization ridge-regression

1

Krzyżowa walidacja regresji lasso w R

Funkcja R cv.glm (biblioteka: boot) oblicza szacowany błąd prognozy krotności K-krotności dla uogólnionych modeli liniowych i zwraca deltę. Czy warto używać tej funkcji do regresji lasso (biblioteka: glmnet), a jeśli tak, to w jaki sposób można ją przeprowadzić? Biblioteka glmnet używa weryfikacji krzyżowej, aby uzyskać najlepszy parametr zwrotny, ale nie …

10 r regression cross-validation lasso glmnet

1

Karane metody dla danych jakościowych: łączenie poziomów w czynnik

Modele ukarane mogą być wykorzystane do oszacowania modeli, w których liczba parametrów jest równa lub nawet większa niż wielkość próbki. Taka sytuacja może wystąpić w logarytmiczno-liniowych modelach dużych rzadkich tabel danych kategorialnych lub zliczających. W tych ustawieniach często jest również pożądane lub pomocne zwijanie tabel poprzez łączenie poziomów czynnika, przy …

10 categorical-data lasso elastic-net log-linear many-categories

1

Wykryto wielowymiarowe, skorelowane dane oraz najważniejsze cechy / zmienne towarzyszące; testowanie wielu hipotez?

Mam zestaw danych z około 5000 często skorelowanych cech / zmiennych towarzyszących i odpowiedzią binarną. Dane zostały mi przekazane, nie zebrałem ich. Używam Lasso i funkcji zwiększania gradientu do budowy modeli. Używam iteracji, zagnieżdżonej weryfikacji krzyżowej. Podaję największe (bezwzględne) 40 współczynników Lasso i 40 najważniejszych cech drzew o podwyższonym gradiencie …

9 machine-learning multiple-comparisons regression-coefficients lasso high-dimensional

Pytania otagowane jako lasso