Pytania otagowane jako boosting

Rodzina algorytmów łączących słabo predykcyjne modele w silnie predykcyjny model. Najpopularniejsze podejście nazywa się zwiększaniem gradientu, a najczęściej stosowanymi słabymi modelami są drzewa klasyfikacji / regresji.

4
Dokładność maszyny zwiększającej gradient zmniejsza się wraz ze wzrostem liczby iteracji
Eksperymentuję z algorytmem maszyny do zwiększania gradientu za pośrednictwem caretpakietu w R. Korzystając z małego zestawu danych o przyjęciach na studia, uruchomiłem następujący kod: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine …
15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 
1
Jakie algorytmy workowania są godnymi następcami Random Forest?
Jeśli chodzi o algorytmy wzmacniające, powiedziałbym, że ewoluowały całkiem dobrze. Na początku 1995 r. Wprowadzono AdaBoost, a po pewnym czasie była to Gradient Boosting Machine (GBM). Niedawno około 2015 r. Wprowadzono XGBoost, który jest dokładny, radzi sobie z nadmiernym dopasowaniem i stał się zwycięzcą wielu konkursów Kaggle. W 2017 roku …
1
Kiedy chcesz korzystać z AdaBoost?
Jak słyszałem o klasyfikatorze AdaBoost, o którym wielokrotnie wspominałem w pracy, chciałem lepiej zrozumieć, jak działa i kiedy można go użyć. Przeczytałem wiele artykułów i samouczków na ten temat, które znalazłem w Google, ale są pewne aspekty klasyfikatora, które wciąż nie mogę zrozumieć: Większość samouczków, które widziałem, mówi o AdaBoost …
3
Czy losowy las i wzmocnienie jest parametryczny czy nieparametryczny?
Czytając doskonałe modelowanie statystyczne: Dwie kultury (Breiman 2001) , możemy uchwycić całą różnicę między tradycyjnymi modelami statystycznymi (np. Regresja liniowa) a algorytmami uczenia maszynowego (np. Bagging, Random Forest, Boosted trees ...). Breiman krytykuje modele danych (parametryczne), ponieważ opierają się one na założeniu, że obserwacje są generowane przez znany, formalny model …
1
Dlaczego nie zawsze korzystać z nauki zespołowej?
Wydaje mi się, że uczenie się w zespole zawsze da lepsze wyniki predykcyjne niż w przypadku jednej hipotezy uczenia się. Dlaczego więc nie używamy ich przez cały czas? Sądzę, że powodem są być może ograniczenia obliczeniowe? (nawet wtedy używamy słabych predyktorów, więc nie wiem).
9
Zwiększone drzewa decyzyjne w pythonie? [Zamknięte]
Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 6 miesięcy temu . Czy istnieje dobra biblioteka python do drzewek decyzyjnych przyspieszonych przez trening?
13 python  cart  boosting 
2
Najlepsze praktyki kodowania funkcji jakościowych dla drzew decyzyjnych?
Podczas kodowania cech kategorycznych dla regresji liniowej obowiązuje zasada: liczba manekinów powinna być o jeden mniejsza niż całkowita liczba poziomów (aby uniknąć kolinearności). Czy istnieje podobna zasada dla drzew decyzyjnych (spakowane, wzmocnione)? Pytam o to, ponieważ standardową praktyką w Pythonie wydaje się być rozszerzanie npoziomów na nmanekiny (sklearny OneHotEncoderlub Pandy …
5
Czy zautomatyzowane uczenie maszynowe to marzenie?
Gdy odkrywam uczenie maszynowe, widzę różne interesujące techniki, takie jak: automatycznie dostraja algorytmy za pomocą technik takich jak grid search, uzyskać bardziej dokładne wyniki dzięki połączeniu różnych algorytmów tego samego „typ”, to jest boosting, uzyskać bardziej dokładne wyniki dzięki połączeniu różnych algorytmów (ale nie ten sam rodzaj algorytmów), to stacking, …
3
dlaczego metoda wzmocnienia jest wrażliwa na wartości odstające
Znalazłem wiele artykułów, w których stwierdzono, że metody ulepszania są wrażliwe na wartości odstające, ale żaden artykuł nie wyjaśnia, dlaczego. Z mojego doświadczenia wynika, że ​​wartości odstające są złe dla dowolnego algorytmu uczenia maszynowego, ale dlaczego metody wspomagające są wyróżniane jako szczególnie wrażliwe? Jak uszeregować następujące algorytmy pod względem wrażliwości …
2
Używanie Adaboost z SVM do klasyfikacji
Wiem, że Adaboost próbuje wygenerować silny klasyfikator za pomocą liniowej kombinacji zestawu słabych klasyfikatorów. Jednak przeczytałem kilka artykułów sugerujących, że Adaboost i SVM działają harmonijnie (nawet jeśli SVM jest silnym klasyfikatorem) w pewnych warunkach i przypadkach . Nie jestem w stanie zrozumieć z perspektywy architektury i programowania, jak działają one …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.