Kontynuuję pytanie, które zadałem wcześniej w sprawie KMS . Widzę wiele literatury, która je opisuje, ale żadna z nich nie mówi o regresji (nawet klasyfikacji z danymi oznaczonymi). Mam wrażenie, że jest on używany tylko do danych nieznakowanych. Czy są jakieś zasoby do obsługi regresji? Czy jest to tak proste, jak dodanie kolejnej warstwy na ukrytej warstwie i uruchomienie algorytmu CD w górę iw dół? Z góry dziękuję.
Odpowiedzi:
Masz rację co do nieznakowanych danych. RBM są modelami generatywnymi i najczęściej są stosowane jako uczniowie bez nadzoru.
W przypadku budowy sieci głębokich przekonań najbardziej typową procedurą jest po prostu szkolenie każdego nowego RBM jeden po drugim, gdy są one układane jeden na drugim. Tak więc rozbieżność kontrastowa nie rośnie w tym sensie, że myślę, że masz na myśli. Działa tylko z jednym RBM na raz, wykorzystując ukrytą warstwę poprzedniego najwyższego RBM jako danych wejściowych dla nowego najwyższego RBM. Po tym wszystkim możesz albo traktować stos wag RBM jako początkowe wagi standardowej sieci neuronowej z przekazywaniem danych i trenować, korzystając z etykietowanych danych i propagacji wstecznej, lub wykonać coś bardziej egzotycznego, na przykład użyć algorytmu czuwania. Zauważ, że do tego ostatniego kroku nie korzystaliśmy z żadnych oznaczonych danych, co jest jedną z zalet tego typu modeli.
Z drugiej strony istnieje kilka sposobów wykorzystania KMS do klasyfikacji.
Gorąco polecam przeczytanie raportu technicznego „Praktyczny przewodnik po szkoleniach z ograniczonymi maszynami Boltzmanna” autorstwa Geoffa Hintona. Omawia kilka z tych zagadnień bardziej szczegółowo, dostarcza nieocenionych wskazówek, przytacza wiele istotnych dokumentów i może pomóc w wyjaśnieniu wszelkich innych nieporozumień.
Zobacz implementację, http://code.google.com/p/matrbm/ . Ma funkcję dopasowania rmb klasyfikacji, którą warto rozważyć. Daj mi również znać, jeśli znajdziesz lepsze implementacje DBN i RMB do klasyfikacji i regresji.
Myślę, że jednym ze sposobów testowania sieci neuronowych, takich jak Restricted Boltzman Machine (RBM), jest zastosowanie ich do nowych zestawów danych lub częściej podzbioru całego zestawu danych i sprawdzenie, jak działają. Możesz również przetestować model z weryfikacją krzyżową. Użyłem popularnego zestawu narzędzi do uczenia maszynowego typu open source (ML), który jest prosty w instalacji i obsłudze, i pozwala na łatwe przetestowanie wielu rodzajów algorytmów ML osobno za pomocą szeregu statystyk regresji modelu ( http: // www. cs.waikato.ac.nz/ml/weka/ ). To może dać ci szybką analizę bez dużej interwencji, z wyjątkiem podstaw działania programu, choć w zależności od tego może nie być tego warte, jeśli sformatowanie danych będzie trudne (chociaż zwykle możesz na przykład użyć „csv do arff konwersji online” do formatowania jednoetapowego).