Czy warstwy głębokich sieci neuronowych można postrzegać jako sieci Hopfielda?


11

Sieci Hopfield są w stanie przechowywać wektor i wyszukiwać go, zaczynając od hałaśliwej wersji. Robią to, ustawiając ciężary, aby zminimalizować funkcję energii, gdy wszystkie neurony są ustawione na równe wartościom wektorów, i odzyskują wektor, używając jego hałaśliwej wersji jako danych wejściowych i pozwalając sieci osiąść na minimum energetycznym.

Pomijając problemy, takie jak fakt, że nie ma gwarancji, że sieć osiądzie w najbliższym minimum itp. - problemy ostatecznie rozwiązane za pomocą maszyn Boltzmanna i ewentualnie z propagacją wsteczną - przełomem było to, że były punktem wyjścia do posiadania abstrakcyjnych reprezentacji. Dwie wersje tego samego dokumentu przywołałyby ten sam stan, byłyby reprezentowane w sieci przez ten sam stan.

Jak napisał sam Hopfield w swoim artykule z 1982 r. Sieci neuronowe i systemy fizyczne o pojawiających się zbiorowych zdolnościach obliczeniowych

Obecne modelowanie może być następnie powiązane z tym, jak jednostka lub Gestalt są zapamiętywane lub kategoryzowane na podstawie danych wejściowych reprezentujących zbiór jego cech.

Z drugiej strony przełomem w głębokim uczeniu się była zdolność do budowania wielu, hierarchicznych reprezentacji danych wejściowych, co ostatecznie doprowadziło do ułatwienia życia praktykom AI, upraszczając inżynierię cech. (patrz np. Nauka reprezentacji: przegląd i nowe perspektywy , Bengio, Courville, Vincent).

Z koncepcyjnego punktu widzenia uważam, że głębokie uczenie się można postrzegać jako uogólnienie sieci Hopfield: od jednej reprezentacji po hierarchię reprezentacji.

Czy to prawda również z obliczeniowego / topologicznego punktu widzenia? Nie biorąc pod uwagę, jak „proste” sieci Hopfielda (neurony 2-stanowe, nieukierowane, funkcja energetyczna), można postrzegać każdą warstwę sieci jako sieć Hopfielda, a cały proces jako sekwencyjną ekstrakcję wcześniej zapamiętanego Gestalt i reorganizację te Gestalt?

Odpowiedzi:


0

Głębokie uczenie się nie jest uogólnieniem sieci Hopfield. Głębokie uczenie się to „uogólnienie” pola sieci neuronowych / połączeń, zapoczątkowane przez Rumelharta i McClellanda.

Istnieją dwa rodzaje sieci neuronowych:

  • Reżyseria (Perceptron, MLP, ConvNets, RNN itp.)
  • Bezkierunkowe (siatki Hopfielda, maszyny Boltzmanna, modele oparte na energii itp.)

Każdy z nich może być głęboko. Jak powiedziałeś, maszyny Boltzmanna są probabilistyczną wersją Hopfield Networks, a prace nad pogłębieniem tych modeli wymagały znacznie więcej niż sieci Hopfield: maszyny Deep Boltzmann, sieci Deep Belief i modele głębokiej energii. Hinton jest naprawdę facetem, którego chcesz przeczytać, aby dowiedzieć się o tych modelach, ale możesz rzucić okiem na ten artykuł, który porównuje trzy modele.

Nie jestem pewien co do organizacji Gestalt. Chyba zostawię to twojej interpretacji.


Moje pytanie prawdopodobnie nie było wystarczająco jasne. Pytałem o pojawienie się zdolności kategoryzacji (Gestalt) w NN.
Mario Alemi
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.