Nauka danych gbm

5

Próbuję zrozumieć kluczowe różnice między GBM a XGBOOST. Próbowałem google go, ale nie znalazłem dobrych odpowiedzi wyjaśniających różnice między dwoma algorytmami i dlaczego xgboost prawie zawsze działa lepiej niż GBM. Co sprawia, że XGBOOST jest tak szybki?

40 machine-learning algorithms xgboost ensemble-modeling gbm

1

Dlaczego xgboost jest o wiele szybszy niż sklearn GradientBoostingClassifier?

Próbuję wytrenować model zwiększania gradientu na ponad 50 tysiącach przykładów ze 100 funkcjami numerycznymi. XGBClassifierobsługuje 500 drzew w ciągu 43 sekund na mojej maszynie, a GradientBoostingClassifierobsługuje tylko 10 drzew (!) w 1 minutę i 2 sekundy :( Nie zawracałem sobie głowy próbą wyhodowania 500 drzew, ponieważ zajmie to godziny. Używam …

29 scikit-learn xgboost gbm data-mining classification data-cleaning machine-learning reinforcement-learning data-mining bigdata dataset nlp language-model stanford-nlp machine-learning neural-network deep-learning randomized-algorithms machine-learning beginner career xgboost loss-function neural-network software-recommendation naive-bayes-classifier classification scikit-learn feature-selection r random-forest cross-validation data-mining python scikit-learn random-forest churn python clustering k-means machine-learning nlp sentiment-analysis machine-learning programming python scikit-learn nltk gensim visualization data csv neural-network deep-learning descriptive-statistics machine-learning supervised-learning text-mining orange data parameter-estimation python pandas scraping r clustering k-means unsupervised-learning

4

Czy XGBoost sam radzi sobie z wielokoliniowością?

Obecnie używam XGBoost na zestawie danych z 21 funkcjami (wybranymi z listy około 150 funkcji), a następnie zakodowałem je jednym kodem, aby uzyskać ~ 98 funkcji. Kilka z tych 98 funkcji jest nieco redundantnych, na przykład: zmienna (funkcja) pojawia się również jako i .B.ZAZAA C.bZAbZA\frac{B}{A}doZAdoZA\frac{C}{A} Moje pytania to: W jaki …

23 feature-selection correlation xgboost gbm

2

Jak pasują modele rankingowe w xgBoost?

O ile mi wiadomo, aby trenować naukę rangowania modeli, musisz mieć w zestawie danych trzy rzeczy: etykieta lub trafność identyfikator grupy lub zapytania wektor funkcji Na przykład zestaw danych Microsoft Learning to Rank korzysta z tego formatu (etykieta, identyfikator grupy i funkcje). 1 qid:10 1:0.031310 2:0.666667 ... 0 qid:10 1:0.078682 …

14 search ranking xgboost gbm

3

Potrzebujesz pomocy w zrozumieniu przybliżonej propozycji punktów podziału xgboost

tło: w xgboost z ttt próbach iteracji w celu dopasowania do drzewa fatfatf_t w stosunku do wszystkich nnn przykładach minimalizuje obiektywnego: ∑i = 1n[ gjafat( xja) + 12)hjafa2)t( xja) ]∑ja=1n[soljafat(xja)+12)hjafat2)(xja)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] gdzie są pochodnymi pierwszego i drugiego rzędu w stosunku do naszego poprzedniego najlepszego oszacowania (z iteracji ):r T …

12 xgboost gbm

Pytania otagowane jako gbm