Dlaczego przycinanie nie jest potrzebne w przypadku losowych drzew leśnych?


20

Breiman mówi, że drzewa rosną bez przycinania. Dlaczego? Mam na myśli, że musi istnieć solidny powód, dla którego drzewa w losowym lesie nie są przycinane. Z drugiej strony uważa się za bardzo ważne przycinanie jednego drzewa decyzji, aby uniknąć nadmiernego dopasowania. Czy z tego powodu dostępna jest literatura? Oczywiście drzewa mogą nie być ze sobą skorelowane, ale nadal istnieje możliwość ich nadmiernego dopasowania.


Naprawdę musisz powiedzieć tutaj więcej o kontekście. @ChrisA. podjął znaczącą próbę, ale trudno jest ustalić, czy na twoje pytanie naprawdę udzielono odpowiedzi, ponieważ trudno jest dowiedzieć się dużo o swojej rozterce.
gung - Przywróć Monikę

2
Co jeszcze trzeba powiedzieć? Pytanie jest bardzo jasne.
Seanosapien

Odpowiedzi:


20

Z grubsza mówiąc, niektóre z potencjalnych nadmiernych dopasowań, które mogą się zdarzyć w jednym drzewie (co jest powodem, dla którego zazwyczaj przycinasz), są złagodzone przez dwie rzeczy w Losowym Lesie:

  1. Fakt, że próbki użyte do szkolenia poszczególnych drzew są „ładowane”.
  2. Fakt, że masz wiele losowych drzew korzystających z losowych cech, a zatem poszczególne drzewa są silne, ale nie tak skorelowane ze sobą.

Edycja: na podstawie komentarza OP poniżej:

Zdecydowanie wciąż istnieje potencjał do nadmiernego dopasowania. Jeśli chodzi o artykuły, możesz przeczytać o motywacji do „workowania” Breimana i „bootstrapowania” ogólnie przez Efrona i Tibshirani. Jeśli chodzi o 2., Brieman luźno powiązał błąd generalizacji związany z siłą drzewa i anty-korelacją poszczególnych klasyfikatorów. Nikt nie używa granicy (najprawdopodobniej), ale ma ona dać intuicję na temat tego, co pomaga w niskim błędzie generalizacji w metodach zespołowych. To jest w samym dokumencie Losowe lasy. Mój post miał popchnąć cię we właściwym kierunku w oparciu o te odczyty i moje doświadczenia / wnioski.

  • Breiman, L., Bagging Predictors, Machine Learning, 24 (2), str. 123-140, 1996.
  • Efron, B .; Tibshirani, R. (1993). Wprowadzenie do Bootstrap. Boca Raton, Floryda
  • Breiman, Leo (2001). „Losowe lasy”. Uczenie maszynowe 45 (1): 5–32.

Ale wciąż może istnieć możliwość przeregulowania. Czy możesz zacytować artykuł do przeczytania?
Z Khan

@Z Khan Czy jesteś może także tym Z Khanem ? Jeśli tak, daj nam znać, abyśmy mogli połączyć Twoje konta.
whuber

3
@ZKhan Problem nadmiernego dopasowania w RF jest omówiony w Hastie i wsp., (2009) Elements of Statistics Learning, wydanie drugie . Na stronie znajduje się bezpłatny plik PDF z książką. Sprawdź rozdział o losowych lasach.
Przywróć Monikę - G. Simpson
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.