Nauka danych xgboost

5

Próbuję zrozumieć kluczowe różnice między GBM a XGBOOST. Próbowałem google go, ale nie znalazłem dobrych odpowiedzi wyjaśniających różnice między dwoma algorytmami i dlaczego xgboost prawie zawsze działa lepiej niż GBM. Co sprawia, że XGBOOST jest tak szybki?

40 machine-learning algorithms xgboost ensemble-modeling gbm

2

Jak interpretować wyjście o znaczeniu XGBoost?

Uruchomiłem model xgboost. Nie wiem dokładnie, jak interpretować wynik xgb.importance. Jakie jest znaczenie wzmocnienia, ochrony i częstotliwości i jak je interpretujemy? Co również oznaczają Split, RealCover i RealCover%? Mam tutaj dodatkowe parametry Czy są jakieś inne parametry, które mogą powiedzieć mi więcej o importach funkcji? Z dokumentacji R wynika, że …

37 machine-learning xgboost

1

Dlaczego xgboost jest o wiele szybszy niż sklearn GradientBoostingClassifier?

Próbuję wytrenować model zwiększania gradientu na ponad 50 tysiącach przykładów ze 100 funkcjami numerycznymi. XGBClassifierobsługuje 500 drzew w ciągu 43 sekund na mojej maszynie, a GradientBoostingClassifierobsługuje tylko 10 drzew (!) w 1 minutę i 2 sekundy :( Nie zawracałem sobie głowy próbą wyhodowania 500 drzew, ponieważ zajmie to godziny. Używam …

29 scikit-learn xgboost gbm data-mining classification data-cleaning machine-learning reinforcement-learning data-mining bigdata dataset nlp language-model stanford-nlp machine-learning neural-network deep-learning randomized-algorithms machine-learning beginner career xgboost loss-function neural-network software-recommendation naive-bayes-classifier classification scikit-learn feature-selection r random-forest cross-validation data-mining python scikit-learn random-forest churn python clustering k-means machine-learning nlp sentiment-analysis machine-learning programming python scikit-learn nltk gensim visualization data csv neural-network deep-learning descriptive-statistics machine-learning supervised-learning text-mining orange data parameter-estimation python pandas scraping r clustering k-means unsupervised-learning

3

Parametry Hypertuning XGBoost

XGBoost wykonało świetną robotę, jeśli chodzi o radzenie sobie zarówno z kategorycznymi, jak i ciągłymi zmiennymi zależnymi. Ale jak wybrać zoptymalizowane parametry dla problemu XGBoost? Oto jak zastosowałem parametry do ostatniego problemu Kaggle: param <- list( objective = "reg:linear", booster = "gbtree", eta = 0.02, # 0.06, #0.01, max_depth = …

27 r python xgboost

2

LightGBM vs XGBoost

Próbuję zrozumieć, co jest lepsze (dokładniejsze, szczególnie w przypadku problemów z klasyfikacją) Szukałem artykułów porównujących LightGBM i XGBoost, ale znalazłem tylko dwa: https://medium.com/implodinggradients/benchmarking-lightgbm-how-fast-is-lightgbm-vs-xgboost-15d224568031 - co dotyczy tylko szybkości, ale nie dokładności. https://github.com/Microsoft/LightGBM/wiki/Experiments - który pochodzi od autorów LightGBM i nic dziwnego, że LightGBM tam wygrywa. W moich testach mam prawie …

25 xgboost

3

Dlaczego potrzebujemy XGBoost i Random Forest?

Nie byłem pewien kilku pojęć: XGBoost przekształca słabych uczniów w silnych uczniów. Jaka jest zaleta robienia tego? Łączenie wielu słabych uczniów zamiast korzystania z jednego drzewa? Losowy las używa różnych próbek z drzewa do utworzenia drzewa. Jaka jest zaleta tej metody zamiast używania pojedynczego drzewa?

25 machine-learning data-mining random-forest decision-trees xgboost

4

Czy XGBoost sam radzi sobie z wielokoliniowością?

Obecnie używam XGBoost na zestawie danych z 21 funkcjami (wybranymi z listy około 150 funkcji), a następnie zakodowałem je jednym kodem, aby uzyskać ~ 98 funkcji. Kilka z tych 98 funkcji jest nieco redundantnych, na przykład: zmienna (funkcja) pojawia się również jako i .B.ZAZAA C.bZAbZA\frac{B}{A}doZAdoZA\frac{C}{A} Moje pytania to: W jaki …

23 feature-selection correlation xgboost gbm

3

xgboost: przywiązuj większą wagę do ostatnich próbek

Czy istnieje sposób na nadanie większego znaczenia punktom, które są nowsze podczas analizy danych za pomocą xgboost?

22 xgboost weighted-data

4

Niezrównoważone dane wieloklasowe dzięki XGBoost

Mam 3 klasy z tą dystrybucją: Class 0: 0.1169 Class 1: 0.7668 Class 2: 0.1163 I używam xgboostdo klasyfikacji. Wiem, że istnieje parametr o nazwie scale_pos_weight. Ale jak to jest obsługiwane w przypadku „wieloklasowym” i jak mogę to właściwie ustawić?

20 classification xgboost multiclass-classification unbalanced-classes

1

Drzewa decyzyjne: liść drzewa (najlepiej pierwszy) i poziom drzewa

Problem 1: Jestem zdezorientowany opisem LightGBM dotyczącym sposobu, w jaki drzewo jest rozwijane. Stanowią one: Większość algorytmów uczenia się drzew decyzyjnych rośnie według poziomów (głębokości), jak na poniższym obrazku: Pytania 1 : Jakie „większość” algorytmów stosuje się w ten sposób? O ile wiem C4.5 i CART używają DFS. XGBoost używa …

14 decision-trees xgboost

2

Jak pasują modele rankingowe w xgBoost?

O ile mi wiadomo, aby trenować naukę rangowania modeli, musisz mieć w zestawie danych trzy rzeczy: etykieta lub trafność identyfikator grupy lub zapytania wektor funkcji Na przykład zestaw danych Microsoft Learning to Rank korzysta z tego formatu (etykieta, identyfikator grupy i funkcje). 1 qid:10 1:0.031310 2:0.666667 ... 0 qid:10 1:0.078682 …

14 search ranking xgboost gbm

3

Pandas Dataframe do DMatrix

Próbuję uruchomić xgboost w scikit learn. I używam tylko Pand do ładowania danych do ramki danych. Jak mam używać pand df z xgboost. Jestem zdezorientowany procedurą DMatrix wymaganą do uruchomienia xgboost algo.

14 scikit-learn pandas xgboost

1

XGBRegressor vs. xgboost.train ogromna różnica prędkości?

Jeśli trenuję mój model przy użyciu następującego kodu: import xgboost as xg params = {'max_depth':3, 'min_child_weight':10, 'learning_rate':0.3, 'subsample':0.5, 'colsample_bytree':0.6, 'obj':'reg:linear', 'n_estimators':1000, 'eta':0.3} features = df[feature_columns] target = df[target_columns] dmatrix = xg.DMatrix(features.values, target.values, feature_names=features.columns.values) clf = xg.train(params, dmatrix) kończy się za około 1 minutę. Jeśli trenuję mój model przy użyciu metody …

13 machine-learning python decision-trees xgboost efficiency

1

Znaczenie cech z cechami jakościowymi wysokiej kardynalności dla regresji (zmienna zależna numerycznie)

Próbowałem użyć importu funkcji z Losowych Lasów, aby przeprowadzić empiryczny wybór funkcji dla problemu regresji, w którym wszystkie cechy są kategoryczne, a wiele z nich ma wiele poziomów (rzędu 100-1000). Biorąc pod uwagę, że kodowanie jednorazowe tworzy zmienną fikcyjną dla każdego poziomu, ważności operacji dotyczą każdego poziomu, a nie każdej …

12 scikit-learn feature-selection random-forest xgboost categorical-data

3

Potrzebujesz pomocy w zrozumieniu przybliżonej propozycji punktów podziału xgboost

tło: w xgboost z ttt próbach iteracji w celu dopasowania do drzewa fatfatf_t w stosunku do wszystkich nnn przykładach minimalizuje obiektywnego: ∑i = 1n[ gjafat( xja) + 12)hjafa2)t( xja) ]∑ja=1n[soljafat(xja)+12)hjafat2)(xja)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] gdzie są pochodnymi pierwszego i drugiego rzędu w stosunku do naszego poprzedniego najlepszego oszacowania (z iteracji ):r T …

12 xgboost gbm

Pytania otagowane jako xgboost