Jakie są dobre referencje na temat zrozumienia uczenia się online?

W szczególności proszę o zasoby, aby dowiedzieć się o systemach uczenia maszynowego, które mogą aktualizować ich odpowiednie sieci przekonań (lub ich odpowiedniki) podczas pracy. Natknąłem się nawet na kilka, ale nie udało mi się ich dodać do zakładek.

Jak można sobie wyobrazić, wyszukiwanie w Internecie jest dość trudne.

Większość algorytmów uczenia się online pochodzi z co najmniej jednego z następujących rodowodów:

• perceptron

  Najnowocześniejsze perceptrony to algorytm pasywno-agresywny , perceptron strukturalny i ich wiele odmian.

• Winnow

  Okna zostały przeformułowane jako wykładnicze metody gradientu i można je również zastosować do problemów strukturalnych . Istnieją również odmiany, które bezpośrednio zajmują się regularyzacją L1 (w celu zagwarantowania rzadkości), takie jak SMIDAS .

• Spadek gradientu stochastycznego

  Stochastyczne obniżanie gradientu ma miejsce, gdy zastosujesz optymalizację online do potencjalnie problemu wsadowego. Stan algorytmów sztuki są Leona Bottou za LaSVM , Pegasos , a wiele sieci neuronowe algorytmy mogą być łatwo przeszkolony w tym ustawieniu. Zobacz samouczek theano dla wielu przykładów. Może online EM pasuje tutaj.

• filtrowanie cząstek

  Jest to również znane jako wnioskowanie Rao-blackwellized i pozwala na aktualizację modelu graficznego / probabilistycznego w miarę pojawiania się większej ilości danych. Dobrymi przykładami są modele tematów online i samouczek NIPS na temat SMC .

Istnieją również szersze problemy z uczeniem się online, takie jak konwersja online do partii , techniki budżetowe do nauki online z jądrem (takie jak ten dokument , ten artykuł i ten dokument ), wiele różnych smaków granic uogólnienia, wątpliwości dotyczące rzadkości (a także cytowany powyżej dokument SMIDAS), hashowanie w celu oszczędzania pamięci i wiele innych problemów.

Avrim Blum jako wspaniały artykuł ankietowy, który poleciłbym od: „Algorytmy online w uczeniu maszynowym” http://www.cs.cmu.edu/~avrim/Papers/survey.ps

Jeśli szukasz informacji na temat teorii uczenia się online, książka Cesa-Bianchi i Lugosi jest solidnym odniesieniem.

Jest ładny tutorial z ICML 2008 autorstwa Yorama Singera i Shai Shaleva Shwartza na temat teorii i praktyki uczenia się online.

Uczenie maszynowe - materiały szkoleniowe - Stanford http://www.stanford.edu/class/cs229/materials.html

Uczenie maszynowe i sztuczna inteligencja Wykłady wideo http://freescienceonline.blogspot.com/2007/07/machine-learning-and-artificial.html

Procesy gaussowskie w uczeniu maszynowym http://www.gaussianprocess.org/gpml/