Jak prawdziwy jest ten slajd dotyczący głębokiego uczenia się, który twierdzi, że wszystkie ulepszenia z lat 80. XX wieku wynikają tylko z dużo większej ilości danych i znacznie szybszych komputerów?

Słuchałem rozmowy i zobaczyłem ten slajd:

Jak to jest prawda?

Przeglądałem AI StackExchange i natrafiłem na bardzo podobne pytanie: Co odróżnia „Głębokie uczenie się” od innych sieci neuronowych?

Ponieważ AI StackExchange zamknie się jutro (ponownie), skopiuję tutaj dwie najlepsze odpowiedzi (wkład użytkowników licencjonowany na licencji cc by-sa 3.0 z wymaganą atrybucją):

Autor: mommi84less

Dwa dobrze cytowane artykuły z 2006 r. Wróciły zainteresowanie badaniami do głębokiego uczenia się. W „Algorytmie szybkiego uczenia się dla sieci głębokiego przekonania” autorzy definiują sieć głębokiego przekonania jako:

[...] gęsto połączone sieci przekonań, które mają wiele ukrytych warstw.

Prawie taki sam opis głębokich sieci znajduje się w „ Chciwym szkoleniu warstwowym głębokich sieci” :

Głębokie wielowarstwowe sieci neuronowe mają wiele poziomów nieliniowości [...]

Następnie w artykule zatytułowanym „Uczenie się przez reprezentację: przegląd i nowe perspektywy” głębokie uczenie się obejmuje wszystkie techniki (patrz także ten wykład ) i jest zdefiniowane jako:

[...] konstruowanie wielu poziomów reprezentacji lub uczenie się hierarchii funkcji.

Przymiotnik „głęboki” został więc użyty przez autorów powyżej, aby podkreślić użycie wielu nieliniowych ukrytych warstw .

Autor: lejlot

Wystarczy dodać do odpowiedzi @ mommi84.

Głębokie uczenie się nie ogranicza się do sieci neuronowych. Jest to szersza koncepcja niż tylko DBN Hintona itp. Głębokie uczenie się dotyczy

konstruowanie wielu poziomów reprezentacji lub uczenie się hierarchii funkcji.

Jest to więc nazwa algorytmów uczenia się hierarchicznej reprezentacji . Istnieją głębokie modele oparte na ukrytych modelach Markowa, warunkowe pola losowe, maszyny wektorowe wsparcia itp. Jedyną powszechną rzeczą jest to, że zamiast (popularnej w latach 90.) inżynierii cech , w której badacze próbowali stworzyć zestaw funkcji, którym jest najlepiej rozwiązać problem z klasyfikacją - maszyny te mogą wypracować własną reprezentację na podstawie surowych danych. W szczególności - zastosowane do rozpoznawania obrazów (obrazy surowe) tworzą wielopoziomową reprezentację składającą się z pikseli, następnie linii, a następnie cech twarzy (jeśli pracujemy z twarzami), takich jak nosy, oczy i wreszcie - twarze uogólnione. Jeśli zastosowane do przetwarzania języka naturalnego - konstruują model językowy, który łączy słowa w części, części w zdania itp.

Kolejny interesujący slajd:

źródło

Mówi się, że rezygnacja z Hinton w 2006 roku jest największą poprawą w głębokim uczeniu się w ciągu ostatnich 10 lat, ponieważ znacznie ogranicza nadmierne dopasowanie.

To z pewnością pytanie wzbudzi kontrowersje.

Kiedy sieci neuronowe są wykorzystywane w głębokim uczeniu się, zwykle są one szkolone w sposób, który nie był używany w latach 80. W szczególności strategie, które wstępnie trenują poszczególne warstwy sieci neuronowej w celu rozpoznawania cech na różnych poziomach, twierdzą, że ułatwiają szkolenie sieci z kilkoma warstwami. To z pewnością nowy rozwój od lat osiemdziesiątych.

Kluczem jest słowo „głębokie” w głębokim uczeniu się. Ktoś (zapomniał ref) w latach 80-tych okazało się, że wszystkie funkcje nieliniowe może być aproksymowane za pomocą pojedynczej warstwy sieci neuronowych, oczywiście dostatecznie dużej liczby jednostek ukrytych. Myślę, że wynik ten prawdopodobnie zniechęcił ludzi do szukania głębszej sieci we wcześniejszej erze.

Głębokość sieci okazała się jednak kluczowym elementem hierarchicznej reprezentacji, który napędza sukces wielu dzisiejszych aplikacji.

Nie do końca, ANN rozpoczyna się w latach 50. Sprawdź slajdy jednej z gwiazd rocka ML Yanna LeCuna, aby uzyskać autentyczne i kompleksowe wprowadzenie. http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf