Co stoi na przeszkodzie wykorzystywaniu pulsacyjnych sieci neuronowych w aplikacjach?

Pulsacyjne lub impulsowe sieci neuronowe zawierają więcej dynamiki błonowej neuronów biologicznych, gdzie impulsy przenoszą informacje do następnej warstwy. Neurony niekoniecznie muszą „strzelać” jednocześnie, tak jak na przykład w backpropie.

Wydaje się jednak, że istnieją przeszkody w stosowaniu tych modeli w przypadku problemów z uczeniem maszynowym. Jakie konkretne problemy stoją na przeszkodzie, aby praktycy uczenia maszynowego używali modeli bardziej realistycznych biologicznie?

Głównym problemem jest to, że nikt nie wie, jak działa mózg :)

Teoria

O ile mogę stwierdzić, w badaniach sieci neuronowych istnieją trzy duże kroki:

1. Model perceptronu (lub progu-bramki), w którym dowolna funkcja boolowska może być obliczona przez jakiś wielowarstwowy perceptron z jedną ukrytą warstwą.
2. Model neuronu - ulepszona wersja poprzedniego, w którym elementy sieci wykorzystują funkcję aktywacji sigmoidalnej (ciągły zestaw możliwych wejść i wyjść). Potrafią także obliczyć dowolną funkcję boolowską (po zastosowaniu progu), a ponadto mogą aproksymować dowolną funkcję ciągłą.
3. Model neuronów szczytowych, który wykorzystuje „kodowanie czasowe” do przekazywania informacji między elementami sieci. Może zrobić wszystko, co robi poprzedni model i często może to zrobić przy mniejszej liczbie neuronów.

Zasadniczo ewolucja tutaj polega na zbliżeniu się do działania ludzkiego mózgu, a ostatni model ma najlepszą wierność.

Ćwiczyć

SNN wydają się bardzo obiecujące, a na nich jest nawet wbudowany produkt SpikeNET (w „Co SpikeNET może zrobić” i „Co jeszcze SpikeNET nie może zrobić” można zobaczyć problemy, które napotkali).

Nie mogę powiedzieć o konkretnych problemach z sieciami szczytowymi - ale ogólnie mam wrażenie, że problemy powstają, ponieważ ludzie chcą, aby SNN działały coraz bardziej jak ludzki mózg:

• chcą wybrać sposób kodowania informacji - co można zrobić za pomocą kodowania opóźnionego (silniej stymulowane neurony mają tendencję do częstszego i szybszego skakania ), kodowania binarnego (informacja jest reprezentowana przez liczbę impulsów w danym przedziale czasu), kodowania czasowego (informacja jest odwrotnością ziarnistości rozróżnialnego przedziału czasowego), kodowanie kolejności rang (pierwsze skoki otrzymywane przez neuron mają wpływ, a kolejne są hamowane) i tak dalej.
• naśladują plastyczność hebrajską, która zwiększa ciężar między neuronami, gdy oba neurony są jednocześnie „włączone” (lub oba „wyłączone”).
• stosują one samoorganizację, w której grupa neuronów konkuruje ze zwycięskim neuronem, hamując odpowiedź innych neuronów. Dzięki neuronowi skokowemu zwycięzca może zostać szybko obliczony na podstawie pojedynczych zdarzeń strzelania.

Wikipedia ma link do książki „Pulsed Neural Networks”, która zawiera sekcję „Problemy z implementacją Pulse-Coded Neural Networks”, ale nie jestem wystarczająco wykształcony, aby o tym komentować.

Jeśli chodzi o wprowadzenie do tematu, polecam ten artykuł: Pulsacyjne sieci neuronowe i ich zastosowanie ( pdf )

wydaje się, że wszystkie algorytmy sieci neuronowej wykorzystują jakąś formę spadku gradientu w swoich algorytmach szkoleniowych, a nawet modele inne niż ANN używają spadku gradientu. wydaje się, że nie ma teorii na temat tego, jak stosować opadanie gradientu w czasie w stosunku do SNN. jedną z możliwości jest wzrost liczby obliczeń neuromorficznych, które wykorzystują bardziej realistyczne biologicznie modele podobne do SNN. ale wydaje się, że dotychczas nie osiągnięto silnych wzorców / przełomów w uczeniu maszynowym w dziedzinie neuromorfii, jak w przypadku bardzo określonych wzorców porównawczych osiągniętych za pomocą ANN w wielu standardowych problemach ML, takich jak rozpoznawanie pisma ręcznego, rozpoznawanie mowy, rozpoznawanie obiektów, tłumaczenie języka itp.