Jaki jest najłatwiejszy sposób na zrozumienie wzmocnienia?
Dlaczego nie podnosi bardzo słabych klasyfikatorów „do nieskończoności” (doskonałość)?
Jaki jest najłatwiejszy sposób na zrozumienie wzmocnienia?
Dlaczego nie podnosi bardzo słabych klasyfikatorów „do nieskończoności” (doskonałość)?
Odpowiedzi:
Mówiąc wprost: jeśli twój klasyfikator błędnie sklasyfikuje niektóre dane, przećwicz kolejną ich kopię głównie w tej źle sklasyfikowanej części z nadzieją, że odkryje coś subtelnego. A potem, jak zwykle, iteruj. Po drodze jest kilka schematów głosowania, które pozwalają rozsądnie łączyć przewidywania wszystkich tych klasyfikatorów.
Ponieważ czasami jest to niemożliwe (szum ukrywa tylko część informacji lub nie jest nawet obecny w danych); z drugiej strony zbyt duże zwiększenie może doprowadzić do przeregulowania.
Wzmocnienie wykorzystuje skurcz poprzez parametr szybkości uczenia się, który w połączeniu z k- krotną walidacją krzyżową, prognozami „out-of-bag” (OOB) lub niezależnym zestawem testów, określa liczbę drzew, które należy przechowywać w zestawie.
Chcemy modelu, który uczy się powoli, dlatego istnieje kompromis pod względem złożoności każdego modelu i liczby modeli do uwzględnienia. Wytyczne, które widziałem, sugerują, abyś ustawił szybkość uczenia się tak nisko, jak to możliwe (biorąc pod uwagę czas obliczeniowy i wymagania dotyczące miejsca do przechowywania), podczas gdy złożoność każdego drzewa powinna być wybrana na podstawie tego, czy interakcje są dozwolone i w jakim stopniu, im bardziej złożone drzewo, tym bardziej złożone interakcje, które można przedstawić.
k -fold CV (lub prognozy OOB lub niezależny zestaw testowy) służy do decydowania, kiedy wzmocniony model zaczął się przeładowywać. Zasadniczo to właśnie powstrzymuje nas od udoskonalenia idealnego modelu, ale lepiej jest uczyć się powoli, ponieważ mamy duży zestaw modeli przyczyniających się do dopasowania modelu.