Czy losowy las Breimana wykorzystuje informacje lub indeks Gini?

Chciałbym wiedzieć, czy losowy las Breimana (losowy las w pakiecie R randomForest) wykorzystuje jako kryterium podziału (kryterium wyboru atrybutów) przyrost informacji lub indeks Gini? Próbowałem to znaleźć na http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm oraz w dokumentacji pakietu randomForest w R. Ale jedyną rzeczą, jaką znalazłem, jest to, że można użyć indeksu Gini informatyka o zmiennym znaczeniu.

Pakiet randomForest w R. autorstwa A. Liaw jest portem oryginalnego kodu będącego mieszanką kodu c (przetłumaczonego) pozostałego kodu fortran i kodu opakowania R. Aby zdecydować o ogólnym najlepszym podziale na punkty przerwania i zmienne mtry, kod używa funkcji oceniania podobnej do gini-gain:

$GiniGain(N,X)=Gini(N)-\frac{\lvert N_{1} \rvert }{\lvert N \rvert }Gini(N_{1})-\frac{\lvert N_{2} \rvert }{\lvert N \rvert }Gini(N_{2})$

Gdzie jest dana cecha, N jest węzeł, w którym szczelina ma być wykonane, oraz N +1 i N 2 są dwa węzły potomne przez rozszczepienie N . | . | to liczba elementów w węźle.$X$$N$$N_{1}$$N_{2}$$N$$\lvert . \rvert$

I , gdzie K jest liczbą kategorii w węźle$Gini(N)=1-\sum_{k=1}^{K}p_{k}^2$$K$

Ale zastosowana funkcja oceniania nie jest dokładnie taka sama, ale zamiast tego jest równoważną bardziej wydajną obliczeniowo wersją. i | N | są stałe dla wszystkich porównywanych podziałów i dlatego są pomijane.$Gini(N)$

Pozwala również sprawdzić część, jeśli suma kwadratowej częstości występowania w węźle (1) jest obliczana jako $\frac{\lvert N_{2} \rvert }{\lvert N \rvert }Gini(N_{2}) \propto |N_2| Gini(N_{2}) = |N_2| (1-\sum_{k=1}^{K}p_{k}^2 ) = |N_2| \sum \frac{nclass_{2,k}^2}{|N_2|^2}$

$nclass_{1,k}$$|N_2|$

$1-$

$|N_1| \sum_{k=1}^{K}p_{1,k}^2 + |N_2| \sum_{k=1}^{K}p_{2,k}^2 = |N_1|\sum_{k=1}^{K}\frac{nclass_{1,k}^2}{|N_1|^2} + |N_2|\sum_{k=1}^{K}\frac{nclass_{2,k}^2}{|N_2|^2}$ $= \sum_{k=1}^{K}\frac{nclass_{2,k}^2}{1} |N_1|^{-1} + \sum_{k=1}^{K}\frac{nclass_{2,k}^2}{1} |N_1|^{-2}$ $= nominator_1/denominator_1 + nominator_2/denominator_2$

The implementation also allows for classwise up/down weighting of samples. Also very important when the implementation update this modified gini-gain, moving a single sample from one node to the other is very efficient. The sample can be substracted from nominators/denominators of one node and added to the others. I wrote a prototype-RF some months ago, ignorantly recomputing from scratch gini-gain for every break-point and that was slower :)

If several splits scores are best, a random winner is picked.

This answer was based on inspecting source file "randomForest.x.x.tar.gz/src/classTree.c" line 209-250