Jakie są wady w sztucznej inteligencji Jeffa Hawkinsa?


19

W 2004 r. Jeff Hawkins , wynalazca pilota palmowego, opublikował bardzo interesującą książkę zatytułowaną O inteligencji , w której szczegółowo opisuje teorię działania ludzkiej kory nowej.

Teoria ta nazywa się strukturą przewidywania pamięci i ma kilka uderzających cech, na przykład nie tylko oddolne (feedforward), ale także odgórne przetwarzanie informacji i zdolność do jednoczesnego, ale dyskretnego przewidywania różnych przyszłych scenariuszy (zgodnie z opisem w tym artykule ).

Obietnicą ram przewidywania pamięci jest bez nadzoru generowanie stabilnych reprezentacji wysokiego poziomu przyszłych możliwości. Coś, co zrewolucjonizuje prawdopodobnie całą masę obszarów badań nad AI.

Hawkins założył firmę i zaczął wdrażać swoje pomysły. Niestety, ponad dziesięć lat później obietnica jego pomysłów jest nadal niespełniona. Do tej pory implementacja jest używana tylko do wykrywania anomalii, co jest swego rodzaju przeciwieństwem tego, co naprawdę chcesz zrobić. Zamiast wyodrębniać zrozumienie, wyodrębnisz przypadki, których twoja sztuczna kora nie rozumie.

Moje pytanie dotyczy tego, w jaki sposób ramy Hawkinsa są niewystarczające. Jakie są konkretne lub koncepcyjne problemy, które jak dotąd uniemożliwiają praktyczną realizację jego teorii?

Odpowiedzi:


11

Krótka odpowiedź brzmi, że wizja Hawkinsa musi jeszcze zostać wdrożona w sposób powszechnie dostępny, w szczególności niezbędne części związane z prognozowaniem.

Długa odpowiedź brzmi: przeczytałem książkę Hawkinsa kilka lat temu i byłem podekscytowany możliwościami Hierarchical Temporal Memory (HTM). Nadal jestem, mimo że mam kilka zastrzeżeń do niektórych jego filozoficznych rozważań na temat znaczenia świadomości, wolnej woli i innych podobnych tematów. Nie będę tutaj rozwodził się nad tymi obawami, ponieważ nie są one związane z głównym, przytłaczającym powodem, dla którego sieci HTM nie odniosły dotychczas oczekiwanego sukcesu: o ile wiem, Numenta wdrożył jedynie okrojoną wersję swojej wizji. Pominęli większość architektury prognozowania, która odgrywa tak istotną rolę w teoriach Hawkinsa. Jak Gerod M. Bonhoff napisał w doskonałej pracy magisterskiej 1 na temat HTM,

Najważniejszą decyzją projektową przyjętą przez Numenta było wyeliminowanie sprzężenia zwrotnego w hierarchii i zamiast tego wybranie symulacji tej teoretycznej koncepcji przy użyciu tylko algorytmów puli danych do ważenia. Ta decyzja jest od razu podejrzana i narusza kluczowe koncepcje HTM. Hawkins twierdzi, że sprzężenie zwrotne ma kluczowe znaczenie dla funkcji korowej i ma kluczowe znaczenie dla jego teorii. Mimo to Numenta twierdzi, że większość problemów związanych z HTM można rozwiązać za pomocą ich implementacji i zastrzeżonych algorytmów łączenia ”.

Wciąż uczę się lin na tym polu i nie mogę powiedzieć, czy od tego czasu Numenta zrezygnowała z tego podejścia na rzecz pełnego wdrożenia pomysłów Hawkinsa, a zwłaszcza najważniejszej architektury prognozowania. Nawet jeśli tak, ta decyzja projektowa prawdopodobnie opóźniła przyjęcie o wiele lat. To nie jest krytyka per se; być może koszty obliczeniowe śledzenia wartości prognoz i aktualizacji ich w locie były zbyt duże, aby je znieść w tym czasie, poza zwykłymi kosztami przetwarzania sieci neuronowych, nie pozostawiając im żadnej innej ścieżki, jak tylko spróbować półśrodków, takich jak ich zastrzeżona pula mechanizmy Niemniej jednak wszystkie najlepsze artykuły badawcze, które czytałem na ten temat od tego czasu, postanowiły zaimplementować algorytmy zamiast polegać na platformie Numenta, zwykle z powodu brakujących funkcji prognozowania.Raport techniczny Maltoni dla Laboratorium Systemu Biometrycznego Uniwersytetu w Bolonii 2 . We wszystkich tych przypadkach nie ma jednak łatwo dostępnego oprogramowania do natychmiastowego użycia ich wariantów HTM (o ile mi wiadomo). Istotą tego wszystkiego jest to, że podobnie jak słynna maksyma GK Chestertona o chrześcijaństwie: „HTM nie zostały wypróbowane i uznano, że nie chcą; uznano je za trudne i pozostawiono bez wypróbowania”. Ponieważ Numenta pominęło etapy przewidywania, zakładam, że będą to główne przeszkody czekające na każdego, kto chce zakodować pełną wizję Hawkinsa dotyczącą tego, czym powinien być HTM.

1 Bonhoff, Gerod M., 2008, Używanie hierarchicznej pamięci czasowej do wykrywania nieprawidłowej aktywności sieci. Prezentowane w marcu 2008 r. W Air Force Institute of Technology, Wright-Patterson Air Force Base, Ohio.

2 Maltoni, Davide, 2011, Rozpoznawanie wzorców przez hierarchiczną pamięć czasową. Raport techniczny DEIS opublikowany 13 kwietnia 2011 r. Laboratorium Systemu Biometrycznego Uniwersytetu w Bolonii: Bolonia, Włochy.


1
Świetna odpowiedź! Chcę dodać, że najwyraźniej IBM daje temu szansę: technologyreview.com/s/536326/…
BlindKungFuMaster

1

10 lat do produkcji gotowy?

Spójrzmy na to z perspektywy. Perceptron został wprowadzony w 1957 roku. Tak naprawdę nie zaczął kwitnąć jako użyteczny model do czasu wydania książek PDP w 1986 roku. Dla tych, którzy zachowali wynik: 29 lat.

Z książek PDP nie widzieliśmy, że opracowano je jako użyteczne głębokie sieci aż do ostatniej dekady. Jeśli weźmiesz zadanie rozpoznawania kotów Andrew Ng i Jeffa Deana jako wydarzenie definiujące głęboką sieć, które odbędzie się w 2012 r. Prawdopodobnie ponad 25 lat jest gotowy do produkcji.

https://en.wikipedia.org/wiki/Timeline_of_machine_learning


To nie jest odpowiedź na pytanie. Ponadto mamy już komputery, które są wystarczająco szybkie, aby uzyskać imponujące osiągnięcia AI. Ale te osiągnięcia nie zdarzają się w HTM.
BlindKungFuMaster
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.