RandomForestClassifier vs ExtraTreesClassifier w scikit Learn

95

Czy ktoś może wyjaśnić różnicę między RandomForestClassifier a ExtraTreesClassifier w scikit Learn. Spędziłem sporo czasu czytając artykuł:

P. Geurts, D. Ernst. I L. Wehenkel, „Extremely randomized trees”, Machine Learning, 63 (1), 3-42, 2006

Wygląda na to, że są to różnice dla ET:

1) Podczas wybierania zmiennych w podziale, próbki są pobierane z całego zestawu uczącego zamiast próbki typu bootstrap z zestawu uczącego.

2) Podziały są wybierane całkowicie losowo z zakresu wartości w próbie przy każdym podziale.

Rezultatem tych dwóch rzeczy jest znacznie więcej „liści”.

scikit-learn random-forest

— Denson
źródło

7

Powodem, dla którego tak bardzo interesuję się ekstratreeklasatorem, jest to, że uzyskuję znacznie lepsze wyniki z ET w przypadku konkretnego problemu. Mój wektor cech jest duży> 200 zmiennych, a zmienne są bardzo zaszumione. Standardowy klasyfikator RDF daje kiepskie wyniki, ale ET uzyskuje wyniki F1> 90%. Klasy są niezrównoważone ze stosunkowo niewielką liczbą pozytywnych próbek klas i wieloma negatywami.

— denson

Zobacz także tę nowszą

— Archie

59

Tak, oba wnioski są poprawne, chociaż implementacja Random Forest w scikit-learn umożliwia włączenie lub wyłączenie ponownego próbkowania bootstrap.

W praktyce RF są często bardziej zwarte niż ET. Szkolenie ET jest generalnie tańsze z obliczeniowego punktu widzenia, ale może wzrosnąć znacznie. ET może kiedyś uogólniać lepiej niż terminali, ale trudno się domyślić, gdy jest to przypadek, nie próbując zarówno pierwszy (i strojenie n_estimators, max_featuresa min_samples_splitprzez cross-zatwierdzony poszukiwaniu siatki).

— ogrisel
źródło

21

Klasyfikator ExtraTrees zawsze testuje losowe podziały na ułamku cech (w przeciwieństwie do RandomForest, który testuje wszystkie możliwe podziały na ułamku cech)

— Muhammad Umar Amanat
źródło

13

Jestem rozbawiony, że ten komentarz jest dosłowną odpowiedzią na pytanie quizu Coursera

— Bob

Tak, @Bob to jest. Uważam, że ta odpowiedź jest bardzo przydatna, dlatego zamieściłem tutaj, pomaga innym w zrozumieniu różnicy między lasem dodatkowym a losowym.

— Muhammad Umar Amanat

3

również pochodził z tego samego kursu. i ta odpowiedź była pomocna!

— killezio

yes @ skeller88 to jest niesamowity kurs. Powinieneś także spojrzeć na tę coursera.org/learn/competitive-data-science?specialization=aml

— Muhammad Umar Amanat

0

Główna różnica między losowymi lasami a dodatkowymi drzewami (zwykle nazywanymi ekstremalnymi lasami losowymi) polega na tym, że zamiast obliczać lokalnie optymalną kombinację cecha / podział (dla lasu losowego), dla każdego rozważanego obiektu wybierana jest wartość losowa. za podział (na dodatkowe drzewa). Oto dobre źródło, aby dowiedzieć się więcej o różnicach między nimi w bardziej szczegółowy sposób Losowy las a dodatkowe drzewo.

— maria_g
źródło

Myślę, że chciałeś wkleić link.

— Tomasz Gandor