Czy wysoce skorelowane zmienne w losowym lesie nie zniekształcają dokładności i wyboru cech?

W moim rozumieniu wysoce skorelowane zmienne nie spowodują problemów z wieloma kolinearnością w losowym modelu lasu (proszę mnie poprawić, jeśli się mylę). Jednak z drugiej strony, jeśli mam zbyt wiele zmiennych zawierających podobne informacje, czy model będzie ważył za dużo na tym zestawie, a nie na innych?

Na przykład istnieją dwa zestawy informacji (A, B) o tej samej mocy predykcyjnej. Zmienna , , ... wszystkie zawierają informacje A, a tylko Y zawiera informacje B. W przypadku losowych zmiennych próbkowania większość drzew wyrośnie na podstawie informacji A, w wyniku czego informacja B nie zostanie w pełni uchwycona ?$X_1$$X_2$$X_{1000}$

To prawda, ale dlatego w większości podpróbek, w których dostępna była zmienna Y, spowodowałoby to najlepszy możliwy podział.

Możesz spróbować zwiększyć mtry, aby upewnić się, że zdarza się to częściej.

Możesz spróbować albo rekurencyjnego czyszczenia korelacji, to jest z kolei, aby usunąć jedną z dwóch zmiennych, które razem mają najwyższą korelację. Rozsądnym progu, aby zatrzymać ten cięcia może być to, że każda para (korelacji Pearsona) jest niższy niż $R^2<.7$

Możesz spróbować przycinania rekurencyjnego o zmiennym znaczeniu, to znaczy z kolei, aby je usunąć, np. 20% o najniższym znaczeniu zmiennego. Spróbuj np. Rfcv z pakietu randomForest.

Możesz spróbować dekompozycji / agregacji swoich zbędnych zmiennych.

Stary wątek, ale nie zgadzam się z ogólnym stwierdzeniem, że kolinearność nie stanowi problemu z przypadkowymi modelami lasu. Gdy zestaw danych ma dwie (lub więcej) skorelowane cechy, wówczas z punktu widzenia modelu dowolna z tych skorelowanych cech może być użyta jako predyktor, bez konkretnej preferencji jednej spośród pozostałych.

Jednak po użyciu jednego z nich znaczenie innych jest znacznie zmniejszone, ponieważ skutecznie zanieczyszczenie, które można usunąć, jest już usuwane przez pierwszą funkcję.

W konsekwencji będą miały niższe zgłaszane znaczenie. Nie jest to problemem, gdy chcemy użyć wyboru funkcji w celu ograniczenia nadmiernego dopasowania, ponieważ sensowne jest usunięcie funkcji, które są w większości powielone przez inne funkcje, ale podczas interpretacji danych może to prowadzić do błędnego wniosku, że jedna ze zmiennych jest silny predyktor, podczas gdy inni w tej samej grupie są nieistotni, podczas gdy w rzeczywistości są bardzo blisko pod względem związku ze zmienną odpowiedzi.

Efekt tego zjawiska jest nieco zmniejszony dzięki losowemu wyborowi funkcji przy tworzeniu każdego węzła, ale ogólnie efekt nie jest całkowicie usuwany.

Powyżej przeważnie pochodzi z tego miejsca: Wybieranie dobrych funkcji