Dlaczego ML stał się opłacalny dopiero po udostępnieniu żetonów Nvidii?

Słuchałem wykładu panelu złożonego z dwóch wpływowych chińskich naukowców: Wang Gang i Yu Kai i innych.

Zapytany o największe wąskie gardło rozwoju sztucznej inteligencji w najbliższej przyszłości (od 3 do 5 lat), Yu Kai, który ma doświadczenie w branży sprzętu komputerowego, powiedział, że sprzęt będzie podstawowym problemem i powinniśmy zapłacić większość nasza uwaga na to. Podał nam dwa przykłady:

1. Na wczesnym etapie rozwoju komputera porównujemy nasze maszyny pod względem układów;
2. Sztuczna inteligencja, która jest bardzo popularna w tych latach, byłaby prawie niemożliwa, gdyby nie została wzmocniona przez procesor graficzny Nvidii.

Podstawowe algorytmy istniały już w latach 80. i 90. XX wieku, ale sztuczna inteligencja przeszła przez 3 zimy AI i nie była empiryczna, dopóki nie można było trenować modeli z mega serwerami wzmocnionymi GPU.

Następnie dr Wang skomentował swoje opinie, że powinniśmy również opracować systemy oprogramowania, ponieważ nie możemy zbudować automatycznego samochodu, nawet jeśli połączyliśmy wszystkie procesory graficzne i obliczenia na świecie.

Potem, jak zwykle, mój umysł odszedł i pomyślałem, że co, jeśli ci, którzy potrafią obsługiwać superkomputery w latach 80. i 90. wykorzystali istniejące wówczas algorytmy sieci neuronowej i wyszkolili je z tonami danych naukowych? Niektóre osoby w tym czasie mogą oczywiście próbować zbudować systemy AI, które budujemy teraz. Ale dlaczego sztuczna inteligencja stała się gorącym tematem i stała się empiryczna dopiero po kilkudziesięciu latach? Czy to tylko kwestia sprzętu, oprogramowania i danych?

Rozwój branży sztucznej inteligencji ma wiele czynników. Wiele osób tęskni jednak za boomem głównie w części AI dotyczącej uczenia maszynowego. Można to przypisać różnym prostym przyczynom wraz z ich porównaniami we wcześniejszych czasach:

• Matematyka : matematyka algorytmów ML jest dość prosta i znana od dawna (choć nie wiadomo, czy to zadziała, czy nie). Wcześniej nie było możliwe wdrożenie algorytmów wymagających dużej precyzji liczb, które miały być obliczone na chipie, w akceptowalnym czasie. Jeden z głównych podziałów operacji arytmetycznych nadal wymaga wielu cykli we współczesnych procesorach. Starsze procesory były o wiele razy wolniejsze niż współczesne procesory (ponad 100x), to wąskie gardło uniemożliwiło szkolenie wyrafinowanych modeli na współczesnych procesorach.
• $1$$0$
• Równoległość : koncepcja równoległości operacji macierzowych nie jest niczym nowym. Dopiero gdy zaczęliśmy postrzegać głębokie uczenie się jako zestaw operacji macierzowych, zdaliśmy sobie sprawę, że można go łatwo zrównoleglać na bardzo równoległych procesorach graficznych, ale jeśli algorytm ML nie jest z natury równoległy, nie ma znaczenia, czy używasz procesora, czy GPU ( np. RNN).
• Dane : Prawdopodobnie największa przyczyna boomu ML. Internet umożliwił gromadzenie ogromnych ilości danych od użytkowników, a także udostępnianie ich zainteresowanym stronom. Ponieważ algorytm ML jest tylko aproksymatorem funkcji opartym na danych, dlatego dane są najważniejszą rzeczą w algorytmie ML. Im więcej danych, tym lepsza wydajność twojego modelu.
• Koszt : Koszt szkolenia modelu ML znacznie spadł. Więc użycie superkomputera do trenowania modelu może być w porządku, ale czy było warto? Superkomputery, w przeciwieństwie do zwykłych komputerów PC, są niezwykle wymagające pod względem chłodzenia, przestrzeni itp. Ostatni artykułw MIT Technology Review zwraca uwagę na ślad węglowy szkolenia modelu Deep Learning (pododdział ML). Jest to całkiem dobry wskaźnik, dlaczego trenowanie na superkomputerach byłoby wcześniej niemożliwe (biorąc pod uwagę, że nowoczesne procesory zużywają znacznie mniej energii i dają wyższe prędkości). Chociaż nie jestem pewien, ale myślę, że wcześniejsze superkomputery specjalizowały się w „równoległym + bardzo precyzyjnym obliczeniu” (wymaganym w przypadku pogody, astronomii, zastosowań wojskowych itp.), A „bardzo wysoka część wstępna” to przesada w scenariuszu uczenia maszynowego.

Innym ważnym aspektem jest to, że obecnie każdy ma dostęp do potężnych komputerów. W ten sposób każdy może budować nowe modele ML, ponownie trenować istniejące modele, modyfikować modele itp. Nie było to wcześniej możliwe,

Wszystkie te czynniki doprowadziły do ​​ogromnego wzrostu zainteresowania ML i spowodowały boom, który obserwujemy dzisiaj. Sprawdź także to pytanie, w jaki sposób wychodzimy poza procesory cyfrowe.

Procesory graficzne były idealne do boomu AI

• Uderzyli we właściwy czas

Sztuczna inteligencja była badana przez długi czas. Prawie pół wieku. Było to jednak zbadanie, jak algorytmy mogłyby działać i wyglądać. Kiedy NV zobaczyło, że sztuczna inteligencja wkrótce wejdzie do głównego nurtu, spojrzeli na swoje układy GPU i zdali sobie sprawę, że ogromna moc przetwarzania parellel, przy względnej łatwości programowania, jest idealna w obecnej epoce. Wiele innych osób również to zauważyło.

• Procesory graficzne są rodzajem akceleratorów ogólnego przeznaczenia

GPGPU to koncepcja wykorzystania równoległego przetwarzania GPU do ogólnych zadań. Możesz przyspieszyć grafikę lub sprawić, by Twój algorytm wykorzystał tysiące rdzeni dostępnych na GPU. To sprawia, że ​​GPU jest niesamowitym celem dla wszystkich rodzajów zastosowań, w tym AI. Ponieważ są już dostępne i nie są zbyt trudne do zaprogramowania, jest to idealny wybór do przyspieszania algorytmów AI.