Jakie algorytmy workowania są godnymi następcami Random Forest?

Jeśli chodzi o algorytmy wzmacniające, powiedziałbym, że ewoluowały całkiem dobrze. Na początku 1995 r. Wprowadzono AdaBoost, a po pewnym czasie była to Gradient Boosting Machine (GBM). Niedawno około 2015 r. Wprowadzono XGBoost, który jest dokładny, radzi sobie z nadmiernym dopasowaniem i stał się zwycięzcą wielu konkursów Kaggle. W 2017 roku Microsoft wprowadził LightGBM, który oferuje znacznie krótszy czas szkolenia w porównaniu do XGBoost. Ponadto CatBoost został wprowadzony przez Yandex do obsługi funkcji jakościowych.

Random Forest został wprowadzony na początku 2000 roku, ale czy jest jakiś godny następca? Myślę, że gdyby istniał lepszy algorytm workowania niż Losowy Las (który można łatwo zastosować w praktyce), zyskałby trochę uwagi w miejscach takich jak Kaggle. Ponadto, dlaczego wzmocnienie stało się bardziej popularną techniką zespołową, czy to dlatego, że można zbudować mniej drzew, aby uzyskać optymalną prognozę?

random-forest boosting bagging

— Marius
źródło

adaBoost został wprowadzony w 1995 roku, ale to drobna kwestia, która nie zmienia twojej podstawowej tezy.

— jbowman

Od czasu losowych lasów widzieliśmy również wprowadzenie wyjątkowo losowych drzew , chociaż nie jestem tak naprawdę świadomy żadnego dobrego dowodu, że lasy te przewyższają losowe lasy z jakąkolwiek konsekwencją, więc mogą nie być „godnym” następcą…

— Jake Westfall,

BART ( arxiv.org/abs/0806.3286 ) to model bayesowski, który wyewoluował z pojedynczego drzewa Bayesian CART i jest inspirowany klasycznymi metodami zespolonymi. Warto to zbadać.

— Zen,

przyspieszenie stało się bardziej popularne, ponieważ skutecznie radzi sobie z wieloma problemami ze słabymi technikami ucznia

— Refael

Warto wspomnieć o uregulowanych chciwych lasach (powolne, ale dobre wyniki) i losowych lasach liczbowych ze względu na ich fajne skutki uboczne.

— Michael M,

xgboost, catboost i lightgbm używają niektórych cech losowego lasu (losowe próbkowanie zmiennych / obserwacji), więc myślę, że są one następcą wzmocnienia i RF razem i biorą najlepsze rzeczy z obu. ;)

— PhilippPro
źródło