Miary o zmiennym znaczeniu w losowych lasach

Bawiłem się losowymi lasami w celu regresji i mam trudności z ustaleniem, co dokładnie oznaczają dwie miary ważności i jak należy je interpretować.

importance()Funkcja daje dwie wartości dla każdej zmiennej: %IncMSEa IncNodePurity. Czy istnieją proste interpretacje tych 2 wartości?

W IncNodePurityszczególności, czy jest to po prostu kwota wzrostu RSS po usunięciu tej zmiennej?

Pierwszy z nich można „zinterpretować” w następujący sposób: jeśli predyktor jest ważny w bieżącym modelu, wówczas przypisanie innych wartości do tego predyktora losowo, ale „realistycznie” (tj. Dopuszczając wartości tego predyktora w zbiorze danych), powinien mieć negatywny wpływ na przewidywanie, tj .: użycie tego samego modelu do przewidywania na podstawie danych, które są takie same, z wyjątkiem jednej zmiennej, powinno dać gorsze przewidywania.

Zatem bierzesz miarę predykcyjną (MSE) z oryginalnym zestawem danych, a następnie z zestawem danych „permutowanych” i porównujesz je w jakiś sposób. Jeden sposób, zwłaszcza że spodziewamy się, że oryginalny MSE będzie zawsze mniejszy, różnicę można wziąć. Wreszcie, aby wartości były porównywalne ze zmiennymi, są one skalowane.

Po drugie: przy każdym podziale możesz obliczyć, o ile ten podział zmniejsza zanieczyszczenie węzłów (w przypadku drzew regresji, faktycznie różnica między RSS przed i po podziale). Jest to sumowane dla wszystkich podziałów dla tej zmiennej, dla wszystkich drzew.

Uwaga: dobra lektura to Elementy nauki statystycznej autorstwa Hastie, Tibshirani i Friedmana ...

Miary ważności lasu losowego zaimplementowane w pakiecie randomForest w R mają dziwactwa, ponieważ skorelowane predyktory otrzymują niskie wartości ważności.

http://bioinformatics.oxfordjournals.org/content/early/2010/04/12/bioinformatics.btq134.full.pdf

Mam zmodyfikowaną implementację losowych lasów na CRAN, która implementuje swoje podejście do szacowania empirycznych wartości p i współczynników fałszywych odkryć, tutaj

http://cran.r-project.org/web/packages/pRF/index.html