Czy drzewa regresji mogą przewidywać w sposób ciągły?

Załóżmy, że mam gładką funkcję, taką jak . Mam zestaw treningowy D ⊊ { ( ( x , y ) , f ( x , y ) ) | ( x , y ) ∈ R 2 } i, oczywiście, nie znam f, chociaż mogę ocenić f gdziekolwiek chcę.$f(x, y) = x^2+y^2$$D \subsetneq \{((x, y), f(x,y)) | (x,y) \in \mathbb{R}^2\}$$f$$f$

Czy drzewa regresji są w stanie znaleźć gładki model funkcji (stąd niewielka zmiana na wejściu powinna dać tylko niewielką zmianę na wyjściu)?

Z tego, co przeczytałem w Wykładzie 10: Drzewa regresji , wydaje mi się, że drzewa regresji w zasadzie umieszczają wartości funkcji w przedziałach:

W przypadku klasycznych drzew regresji model w każdej komórce jest tylko stałym oszacowaniem Y.

Kiedy piszą „klasyczny”, myślę, że istnieje wariant, w którym komórki robią coś bardziej interesującego?

Drzewa regresji, szczególnie zwiększanie gradientu (zasadniczo wiele drzew), mają tendencję do radzenia sobie bardzo dobrze przy ciągłych prognozach, często przewyższając modele, które są naprawdę ciągłe jak regresja liniowa, kiedy. Jest to szczególnie prawdziwe, gdy występują interakcje zmienne i gdy masz wystarczająco duży zestaw danych (ponad 10 000 rekordów), aby przeregulowanie było mniej prawdopodobne. Jeśli twoim głównym celem jest po prostu moc predykcyjna, to czy model jest w 100% ciągły czy pseudo ciągły, nie powinno mieć znaczenia. Jeśli zwiększanie ciągłości drzew regresji na podstawie mocy predykcyjnej próbki, możesz po prostu zwiększyć głębokość drzewa lub dodać więcej drzew.

W klasycznych drzewach regresji masz jedną wartość w liściu, ale w liściu możesz mieć model regresji liniowej, sprawdź ten bilet.

Możesz także użyć zestawu drzew (losowe maszyny leśne lub maszyny zwiększające gradient), aby uzyskać ciągłą wartość wyjściową.

Jeśli nieco rozszerzysz pytanie, aby uwzględnić ogólne techniki zwiększania gradientu (w przeciwieństwie do specjalnego przypadku drzew regresji wzmocnionej), odpowiedź brzmi tak. Zwiększanie gradientu zostało z powodzeniem wykorzystane jako alternatywa dla wyboru zmiennych. Dobrym przykładem jest pakiet mboost . Kluczem jest to, że klasa podstawowych uczniów wykorzystywanych do wzmocnienia składa się z ciągłych modeli na początek. W tym samouczku opisano typowe klasy uczniów podstawowych w następujący sposób:

Powszechnie stosowane modele uczenia podstawowego można podzielić na trzy odrębne kategorie: modele liniowe, modele gładkie i drzewa decyzyjne. Istnieje również szereg innych modeli, takich jak losowe pola markowa (Dietterich i in., 2004) lub falki (Viola i Jones, 2001), ale ich zastosowanie powstaje w przypadku stosunkowo konkretnych zadań praktycznych.

Zauważ, że szczególnie wspomina o falkach. Drzewa i falki z powodzeniem łączono wcześniej w falki oparte na drzewach.