Dogłębne uczenie się a drzewa decyzyjne i metody wspomagające

Szukam prac lub tekstów, które porównują i omawiają (empirycznie lub teoretycznie):

• Pobudzanie i drzewa decyzyjne algorytmy takie jak lasy losowe lub adaboost i GentleBoost stosowane do drzew decyzyjnych.

z

• Metody głębokiego uczenia, takie jak Ograniczone Maszyny Boltzmanna , Hierarchiczna Pamięć Czasowa , Splotowe Sieci Neuralne itp.

Mówiąc dokładniej, czy ktoś wie o tekście omawiającym lub porównującym te dwa bloki metod ML pod względem szybkości, dokładności lub zbieżności? Poszukuję również tekstów, które wyjaśniają lub podsumowują różnice (np. Wady i zalety) między modelami lub metodami w drugim bloku.

Wszelkie wskazówki lub odpowiedzi dotyczące takich porównań byłyby bardzo mile widziane.

Czy możesz bardziej szczegółowo określić rodzaje danych, na które patrzysz? To częściowo określi, jaki typ algorytmu zbiega się najszybciej.

Nie jestem też pewien, jak porównać metody takie jak boosting i DL, ponieważ boosting to tak naprawdę zbiór metod. Z jakich innych algorytmów korzystasz przy doładowaniu?

Ogólnie techniki DL można opisać jako warstwy kodera / dekodera. Bezobsługowy trening wstępny polega na tym, że najpierw trenuje każdą warstwę, kodując sygnał, dekodując sygnał, a następnie mierząc błąd rekonstrukcji. Strojenie może być następnie wykorzystane w celu uzyskania lepszej wydajności (np. Jeśli używasz denoisingu stosowych autoencoderów, możesz użyć propagacji wstecznej).

Jednym dobrym punktem wyjścia dla teorii DL jest:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.73.795&rep=rep1&type=pdf

a także te:

http://portal.acm.org/citation.cfm?id=1756025

(przepraszam, musiałem usunąć ostatni link z powodu systemu filtrowania spamu)

Nie zamieściłem żadnych informacji na temat KMS, ale są one ściśle powiązane (choć osobiście nieco trudniejsze do zrozumienia na początku).

Świetne pytanie! Zarówno przyspieszenie adaptacyjne, jak i głębokie uczenie się można zaklasyfikować jako probabilistyczne sieci uczenia się. Różnica polega na tym, że „głębokie uczenie się” dotyczy konkretnie jednej lub więcej „sieci neuronowych”, podczas gdy „wzmacnianie” jest „algorytmem meta-uczenia się”, który wymaga jednej lub więcej sieci uczenia się, zwanych słabymi uczniami, które mogą być „czymkolwiek” (tj. sieć neuronowa, drzewo decyzyjne itp.). Algorytm wspomagający pobiera jedną lub więcej słabych sieci uczących się, tworząc tak zwaną „silną uczącą się”, która może znacznie „podnieść” ogólne wyniki sieci uczących się (tj. Viola i Jones Face Detector, OpenCV).