Pytania otagowane jako feature-selection

Metody i zasady wyboru podzbioru atrybutów do wykorzystania w dalszym modelowaniu

5
Czy nadal musimy dokonywać wyboru funkcji, korzystając z algorytmów regularyzacyjnych?
Mam jedno pytanie dotyczące potrzeby korzystania z metod wyboru funkcji (losowe wartości ważności cech lasów lub metody wyboru cech Univariate itp.) Przed uruchomieniem algorytmu uczenia statystycznego. Wiemy, że aby uniknąć przeregulowania, możemy wprowadzić karę regularyzacyjną dla wektorów masy. Więc jeśli chcę zrobić regresję liniową, mógłbym wprowadzić parametry L2 lub L1, …
2
Jak sensowne jest wykonywanie OLS po wyborze zmiennej LASSO?
Ostatnio odkryłem, że w stosowanej literaturze ekonometrycznej, gdy mamy do czynienia z problemami wyboru cech, nierzadko wykonuje się LASSO, a następnie regresję OLS przy użyciu wybranych zmiennych. Zastanawiałem się, jak możemy zakwalifikować ważność takiej procedury. Czy spowoduje to problemy takie jak pominięte zmienne? Jakieś dowody wskazujące, że jest on bardziej …
1
Co wyciągnąć z tej fabuły lasso (glmnet)
Poniżej znajduje się wykres glmnet z domyślną wartością alfa (1, stąd lasso) przy użyciu mtcarszestawu danych w R mpgjako DV i innych jako zmiennych predykcyjnych. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Co możemy wywnioskować z tej działki dotyczące różnych zmiennych, zwłaszcza am, cyli wt(czerwone, czarne i jasne niebieskie linie)? Jak sformułujemy wynik w raporcie, …
1
Co to jest „przestrzeń funkcji”?
Jaka jest definicja „przestrzeni obiektów”? Na przykład czytając o SVM, czytam o „mapowaniu do przestrzeni funkcji”. Czytając o KOSZYKU, czytam o „partycjonowaniu w przestrzeń funkcji”. Rozumiem, co się dzieje, szczególnie w przypadku CART, ale myślę, że brakuje mi definicji. Czy istnieje ogólna definicja „przestrzeni obiektów”? Czy istnieje definicja, która da …
2
Czy LASSO cierpi na te same problemy co regresja krokowa?
Krokowe algorytmiczne metody selekcji zmiennych mają tendencję do wybierania dla modeli, które mniej lub bardziej uwzględniają każde oszacowanie w modelach regresji ( ββ\beta i ich SE, wartości p , statystyki F itp.) I prawdopodobnie wykluczą prawdziwe predyktory, takie jak obejmują fałszywe predyktory zgodnie z dość dojrzałą literaturą symulacyjną. Czy LASSO …
2
Szybkość, koszty obliczeniowe PCA, LASSO, siatka elastyczna
Próbuję porównać złożoność obliczeniową / szybkość estymacji trzech grup metod regresji liniowej, jak wyróżniono w Hastie i in. „Elementy statystycznego uczenia się” (wydanie drugie), rozdział 3: Wybór podzbioru Metody skurczowe Metody wykorzystujące pochodne kierunki wprowadzania (PCR, PLS) Porównanie może być bardzo przybliżone, aby dać pewien pomysł. Rozumiem, że odpowiedzi mogą …
1
Paradoks w wyborze modelu (AIC, BIC, aby wyjaśnić lub przewidzieć?)
Po przeczytaniu książki Galit Shmueli „Wyjaśnić lub przewidzieć” (2010) zastanawia mnie pozorna sprzeczność. Istnieją trzy przesłanki, AIC - wybór modelu na podstawie BIC (koniec str. 300 - początek str. 301): po prostu, AIC powinien być używany do wybierania modelu przeznaczonego do przewidywania, podczas gdy BIC powinien być używany do wybierania …
5
Zmienność wyników cv.glmnet
Używam cv.glmnetdo znajdowania predyktorów. Konfiguracja, której używam jest następująca: lassoResults<-cv.glmnet(x=countDiffs,y=responseDiffs,alpha=1,nfolds=cvfold) bestlambda<-lassoResults$lambda.min results<-predict(lassoResults,s=bestlambda,type="coefficients") choicePred<-rownames(results)[which(results !=0)] Aby upewnić się, że wyniki są powtarzalne ja set.seed(1). Wyniki są bardzo zmienne. Uruchomiłem dokładnie ten sam kod 100, aby zobaczyć, jak zmienne były wyniki. W biegach 98/100 zawsze wybierano jeden konkretny predyktor (czasem tylko sam); …
3
Czy budowanie klasyfikatora wieloklasowego jest lepsze niż kilka binarnych?
Muszę podzielić adresy URL na kategorie. Powiedzmy, że mam 15 kategorii, do których planuję wyzerować każdy adres URL. Czy 15-drożny klasyfikator jest lepszy? Gdzie mam 15 etykiet i generuję funkcje dla każdego punktu danych. Lub budowanie 15 binarnych klasyfikatorów, powiedzmy: film lub nie-film, i użyj liczb, które otrzymuję z tych …
5
Zrozumienie, które cechy były najważniejsze dla regresji logistycznej
Zbudowałem klasyfikator regresji logistycznej, który jest bardzo dokładny na moich danych. Teraz chcę lepiej zrozumieć, dlaczego tak dobrze działa. W szczególności chciałbym uszeregować, które funkcje mają największy udział (które cechy są najważniejsze) i, najlepiej, obliczyć, ile każda cecha przyczynia się do dokładności całego modelu (lub czegoś w tym stylu). Jak …
3
Wnioskowanie po użyciu Lasso do wyboru zmiennych
Korzystam z Lasso do wyboru funkcji w relatywnie niskim wymiarze (n >> p). Po dopasowaniu modelu Lasso chcę użyć zmiennych towarzyszących o niezerowych współczynnikach, aby dopasować model bez kary. Robię to, ponieważ chcę obiektywnych szacunków, których Lasso nie może mi podać. Chciałbym również wartości p i przedziały ufności dla obiektywnego …
1
Czy w losowym lesie większy% IncMSE jest lepszy czy gorszy?
Po zbudowaniu losowego modelu lasu (regresyjnego) w R wywołanie rf$importancezapewnia mi dwie miary dla każdej zmiennej predykcyjnej %IncMSEoraz IncNodePurity. Czy interpretacja, że ​​zmienne predykcyjne o mniejszych %IncMSEwartościach są ważniejsze niż zmienne predykcyjne o większych %IncMSEwartościach? Co powiesz na IncNodePurity?
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.