Podczas wzmacniania słabi lub niestabilni klasyfikatorzy są wykorzystywani jako uczniowie bazy. Dzieje się tak, ponieważ celem jest wygenerowanie znacznie odmiennych granic decyzyjnych. Zatem dobry podstawowy uczeń to taki, który jest bardzo tendencyjny, innymi słowy, wyniki pozostają w zasadzie takie same, nawet jeśli parametry szkolenia dla podstawowych uczniów są nieznacznie zmienione.
W sieciach neuronowych porzucenie jest techniką regularyzacji, którą można porównać do zespołów szkoleniowych. Różnica polega na tym, że zestawianie odbywa się w utajonej przestrzeni (neurony istnieją lub nie), zmniejszając w ten sposób błąd uogólnienia.
„Każdy przykład szkoleniowy można zatem postrzegać jako zapewniający gradienty dla innej, losowo próbkowanej architektury, dzięki czemu końcowa sieć neuronowa skutecznie reprezentuje ogromny zespół sieci neuronowych o dobrych możliwościach uogólnienia” - cytując stąd .
Istnieją dwie takie techniki: w odpadaniu neurony są upuszczane (co oznacza, że neurony istnieją lub nie są pewne z pewnym prawdopodobieństwem), podczas gdy w połączeniu drop upuszczane są wagi.
Teraz, aby odpowiedzieć na twoje pytanie, uważam, że sieci neuronowe (lub perceptrony) nie są używane jako podstawowi uczący się w zestawie wzmacniającym, ponieważ trenują wolniej (po prostu zajmuje zbyt dużo czasu), a uczniowie nie są tak słabi, chociaż mogliby bądź bardziej niestabilny. Więc nie jest to warte wysiłku.
Być może były badania na ten temat, szkoda jednak, że pomysły, które nie działają dobrze, zwykle nie są z powodzeniem publikowane. Potrzebujemy więcej badań obejmujących ścieżki, które nigdzie nie prowadzą, czyli „nie zawracaj sobie głowy próbowaniem tego”.
EDYTOWAĆ:
Miałem jednak nieco więcej na ten temat, a jeśli interesują Cię zespoły dużych sieci, to może masz na myśli metody łączenia wyników wielu takich sieci. Większość ludzi przeciętnie głosuje większością w zależności od zadania - może to nie być optymalne. Uważam, że powinna istnieć możliwość zmiany wag dla każdej sieci wyjściowej zgodnie z błędem na konkretnym rekordzie. Im mniej skorelowane wyniki, tym lepsza reguła zestawu.