Nie jestem ekspertem od losowego lasu, ale doskonale rozumiem, że kluczowym problemem z losowym lasem jest (losowe) generowanie drzew. Czy możesz mi wyjaśnić, w jaki sposób generowane są drzewa? (tj. Jaka jest używana dystrybucja do generowania drzew?)
Z góry dziękuję !
Odpowiedzi:
Implementacje RF różnią się nieznacznie. Wiem, że zastrzeżona implementacja Salford Systems ma być lepsza niż waniliowa w R. Opis algorytmu znajduje się w ESL autorstwa Friedmana-Hastiego-Tibshirani, wyd. 2, 3. druk . Cały rozdział (15.) jest poświęcony RF, a ja uważam, że jest on wyraźniejszy niż oryginalny artykuł. Algorytm budowy drzewa jest szczegółowo opisany na str.588; nie ma potrzeby, żebym go tutaj reprodukował, ponieważ książka jest dostępna online.
Główną ideą jest procedura workowania, a nie losowanie drzew. Szczegółowo, każde drzewo jest zbudowane na próbce obiektów narysowanych zamiennie z oryginalnego zestawu; dlatego każde drzewo ma pewne obiekty, których nie widział, co sprawia, że cały zespół jest bardziej niejednorodny, a zatem lepszy w uogólnieniu.
Ponadto drzewa są osłabiane w taki sposób, że przy każdym podziale mtrybrane są pod uwagę tylko M (lub ) losowo wybrane atrybuty; M jest zwykle pierwiastkiem kwadratowym z liczby atrybutów w zestawie. Dzięki temu drzewa są mniej obciążone, ponieważ nie są przycinane. Więcej informacji znajdziesz tutaj .
Z drugiej strony istnieje wariant RF o nazwie Extreme Random Forest, w którym drzewa są tworzone w sposób losowy (nie ma optymalizacji podziałów) - skonsultuj, myślę, że to odniesienie .