Wydajność energetyczna ludzkiego mózgu a sieci neuronowe

Jak duże sztuczne sieci neuronowe możemy teraz uruchomić (albo z pełnym cyklem pracy pociągu / pleców, albo po prostu oceniając wyjścia sieciowe), jeśli nasz całkowity budżet energetyczny do obliczeń jest równoważny budżetowi energii ludzkiego mózgu ( 12,6 wata )?

Załóżmy jeden cykl na sekundę, który wydaje się mniej więcej odpowiadał szybkości strzelania neuronów biologicznych .

neural-networks human-like

— liori
źródło

Chciałem zadać to pytanie. Cieszę się, że ktoś już to zrobił :)

— Eka

126 milionów sztucznych neuronów o mocy 12,6 wata, z IBM True North

W 2014 r . Układ IBM True North naciskał 1 milion neuronów o mocy poniżej 100 mW.

To około 126 milionów sztucznych neuronów o mocy 12,6 W.

Mysz ma 70 milionów neuronów.

IBM wierzy, że mogą zbudować komputer mainframe True North w skali człowiek-mózg przy „zaledwie” 4kW.

Gdy tranzystory 3D pojawią się na rynku, myślę, że dość szybko nadążymy za wydajnością mózgu zwierząt.

— Doxosophoi
źródło

> Więc to około 126 milionów sztucznych neuronów o mocy 12,6 W. > Mysz ma 70 milionów neuronów. Problem polega na tym, że nie wiemy, czy pojedynczy sztuczny „neuron” jest naprawdę odpowiednikiem prawdziwego biologicznego neuronu jeden do jednego.

— mindcrime

Oprócz przestępstw umysłowych należy pamiętać, że przez około 60 lat neuronaukowcy / badacze AI konsekwentnie nie docenili mocy przetwarzania ludzkiego mózgu. Widziałem wczesne szacunki wielkich nazwisk, że nasze umysły mogą przechowywać tylko kilka 100 MB! Musimy jeszcze uwzględnić takie czynniki, jak głębia bitowa, odpowiednia architektura, możliwe stany kwantowe w komórkach mózgu itp. IBM może prawdopodobnie zbudować energooszczędną sieć neuronową o długości 70 milionów neuronów, która nie może nawet zbliżyć się do zachowania pasożytów myszy . Badacze AI historycznie zawsze przeceniali własne możliwości.

— SQLServerSteve

Rzeczywiście zapomniałem o układach IBM. Nie wziąłem ich nawet pod uwagę, pisząc pytanie, ponieważ znana jest krytyka ich skuteczności (patrz np. Facebook.com/yann.lecun/posts/10152184295832143 ). Chociaż technicznie nadal wdrażają sieci neuronowe, więc daj +1 ode mnie.

— liori

@mindcrime & SQLServerSteve Cóż, pytanie mogło dotyczyć w szczególności Ann, które przesyłają wanilię do przodu, działając na standardowym sprzęcie. Jednak nie takie wrażenie wywarło na mnie pytanie.

— Doxosophoi

Wydawało się też, że nie dotyczy to sztucznych sieci neuronowych, o których jeszcze nie ma mowy.

— Doxosophoi

Jeśli ograniczysz się do 12,6 watów, nie zrobisz wiele. Wystarczy spojrzeć na zużycie energii przez nowoczesny układ GPU, spojrzeć na rozmiar sieci, w których ludzie się szkolą, a następnie zmniejszyć. Dla porównania, współczesne GPU wydają się zużywać między 52-309 watów przy intensywnym użytkowaniu .

Wyraźnie widać, że efektywność energetyczna to jeden z obszarów, w którym ludzki mózg wciąż jest daleko w tyle za ANN.

— przestępstwa umysłowe
źródło