Jestem trochę nowym przypadkowym lasem, więc wciąż mam problemy z podstawowymi pojęciami.
W regresji liniowej zakładamy niezależne obserwacje, stałą wariancję…
Odpowiedzi:
Dzięki za bardzo dobre pytanie! Spróbuję za tym oprzeć swoją intuicję.
Aby to zrozumieć, pamiętaj o „składnikach” losowego klasyfikatora leśnego (są pewne modyfikacje, ale jest to ogólny potok):
Załóżmy pierwszy punkt. Nie zawsze jest możliwe znalezienie najlepszego podziału. Na przykład w poniższym zestawie danych każdy podział da dokładnie jeden błędnie sklasyfikowany obiekt.
I myślę, że dokładnie ten punkt może być mylący: w rzeczywistości zachowanie pojedynczego podziału jest w pewien sposób podobne do zachowania klasyfikatora Naive Bayes: jeśli zmienne są zależne - nie ma lepszego podziału dla drzew decyzyjnych, a klasyfikator Naive Bayes również zawodzi (tylko dla przypomnienia: zmienne niezależne są głównym założeniem, które przyjmujemy w klasyfikatorze Naive Bayes; wszystkie inne założenia pochodzą z wybranego przez nas modelu probabilistycznego).
Ale tu pojawia się wielką zaletą drzew decyzyjnych: bierzemy żadnego rozłamu i kontynuować dalszy podział. A dla kolejnych podziałów znajdziemy idealną separację (na czerwono).
A ponieważ nie mamy modelu probabilistycznego, a jedynie podział binarny, nie musimy wcale przyjmować żadnych założeń.
Chodziło o Drzewo decyzyjne, ale dotyczy to także Losowego Lasu. Różnica polega na tym, że w Random Forest używamy Agregacji Bootstrap. Nie ma pod nim żadnego modelu, a jedynym założeniem, na którym się opiera, jest to, że próbkowanie jest reprezentatywne . Ale zwykle jest to powszechne założenie. Na przykład, jeśli jedna klasa składa się z dwóch składników, a w naszym zestawie danych jeden składnik jest reprezentowany przez 100 próbek, a inny składnik jest reprezentowany przez 1 próbkę - prawdopodobnie większość pojedynczych drzew decyzyjnych zobaczy tylko pierwszy składnik, a Losowy Las błędnie sklasyfikuje drugi .
Mam nadzieję, że da to trochę więcej zrozumienia.
W jednym artykule z 2010 r. Autorzy udokumentowali, że losowe modele leśne nierzetelnie oszacowały znaczenie zmiennych, gdy zmienne były wielokoliniowe w wielowymiarowej przestrzeni statystycznej. Zazwyczaj sprawdzam to przed uruchomieniem losowych modeli lasu.