Czym * jest * sztuczna sieć neuronowa?

Zagłębiając się w literaturę o sieciach neuronowych , identyfikujemy inne metody z topologiami neuromorficznymi (architektury podobne do „sieci neuronowej”). I nie mówię o uniwersalnym twierdzeniu o aproksymacji . Przykłady podano poniżej.

Zastanawiam się: jaka jest definicja sztucznej sieci neuronowej? Wygląda na to, że jego topologia obejmuje wszystko.

Przykłady:

Jedną z pierwszych dokonanych przez nas identyfikacji jest między PCA a liniowym autoencoderem z wiązanymi wagami w enkoderze i dekoderze oraz progowymi aktywacjami w warstwie wąskiego gardła.

Również wspólna identyfikacja odbywa się między modelami liniowymi (w szczególności regresją logistyczną) a siecią neuronową bez ukrytej warstwy i pojedynczą warstwą wyjściową. Ta identyfikacja otwiera kilka drzwi.

Seria Fouriera i Taylora? ANNs . SVM ? ANN. Proces Gaussa? ANN (z pojedynczą ukrytą warstwą z nieskończonymi ukrytymi jednostkami).

Tak więc równie łatwo możemy włączyć dowolne regularne wersje ze specjalnymi funkcjami utraty tych algorytmów do struktury sieci neuronowej.

Ale im więcej kopiemy, tym więcej pojawia się podobieństw. Właśnie natknąłem się na drzewa decyzyjne Deep Neural , które umożliwiają identyfikację konkretnej architektury ANN z drzewami decyzyjnymi, pozwalając na naukę ich za pomocą metod ANN (takich jak backpropagacja gradientu zejścia). Na tej podstawie możemy konstruować losowe lasy i drzewka decyzyjne wzmocnione gradientem wyłącznie z topologii sieci neuronowych.

Jeśli wszystko można wyrazić jako sztuczną sieć neuronową, co definiuje sztuczną sieć neuronową?

Jürgen Schmidhuber, „ Głębokie uczenie się w sieciach neuronowych: przegląd ” śledzi historię kluczowych pojęć w sieciach neuronowych i głębokim uczeniu się. Jego zdaniem wydaje się, że sieci neuronowe obejmują zasadniczo każdy model, który można scharakteryzować jako graf kierunkowy, w którym każdy węzeł reprezentuje pewną jednostkę obliczeniową. Schmidhuber jest wybitnym badaczem sieci neuronowych i napisał oryginalny artykuł na temat sieci LSTM z Seppem Hochreiterem.

Jakie modyfikowalne elementy systemu uczenia się są odpowiedzialne za jego sukces lub porażkę? Jakie zmiany w nich poprawiają wydajność? Nazywa się to podstawowym problemem przydziału kredytów (Minsky, 1963). Istnieją ogólne metody przypisywania punktów dla uniwersalnych rozwiązywania problemów, które są optymalne czasowo w różnych sensach teoretycznych (rozdz. 6.8). Obecne badanie skupi się jednak na węższym, ale obecnie ważnym handlowo, podpolu Deep Learning (DL) w sztucznych sieciach neuronowych (NN).

Standardowa sieć neuronowa (NN) składa się z wielu prostych połączonych procesorów zwanych neuronami, z których każdy wytwarza sekwencję aktywacji o wartościach rzeczywistych. Neurony wejściowe są aktywowane przez czujniki postrzegające środowisko, inne neurony są aktywowane przez ważone połączenia z wcześniej aktywnych neuronów (szczegóły w Rozdziale 2). Niektóre neurony mogą wpływać na środowisko, wywołując działania. Nauka lub zaliczenie polega na znalezieniu ciężarów, które sprawiają, że NN wykazuje pożądane zachowanie, takie jak prowadzenie samochodu. W zależności od problemu i sposobu połączenia neuronów takie zachowanie może wymagać długich łańcuchów przyczynowych etapów obliczeniowych (rozdział 3), w których każdy etap przekształca (często w sposób nieliniowy) agregację aktywacji sieci. Głębokie uczenie się polega na dokładnym przypisywaniu punktów na wielu takich etapach.

Modele płytkie NN z kilkoma takimi etapami istnieją od wielu dziesięcioleci, jeśli nie stuleci (rozdział 5.1). Modele z kilkoma kolejnymi nieliniowymi warstwami neuronów pochodzą co najmniej z lat 60. (Sec. 5.3) i 1970. (Sec. 5.5). W latach 60. i 70. XX wieku opracowano wydajną metodę zejścia gradientowego do opartego na nauczycielach nadzorowanego uczenia się (SL) w dyskretnych, zróżnicowanych sieciach o dowolnej głębokości, zwanych propagacją wsteczną (BP), i zastosowano je w NN w 1981 r. (Sec. 5.5). Jednak szkolenie oparte na BP głębokich NN o wielu warstwach okazało się trudne w praktyce pod koniec lat 80. (rozdział 5.6), a stało się wyraźnym przedmiotem badań na początku lat 90. (rozdział 5.9). DL stało się praktycznie wykonalne w pewnym stopniu dzięki pomocy Unsupervised Learning (UL), np. Sec. 5.10 (1991), Sec. 5.15 (2006). Lata 90. i 2000. przyniosły również wiele ulepszeń w zakresie czysto nadzorowanego DL (rozdział 5). W nowym tysiącleciu głębokie sieci NN w końcu przyciągnęły szeroką uwagę, głównie poprzez lepsze wyniki w alternatywnych metodach uczenia maszynowego, takich jak maszyny jądra (Vapnik, 1995; Scholkopf i in., 1998) w wielu ważnych zastosowaniach. W rzeczywistości od 2009 r. Nadzorowane głębokie NN wygrały wiele oficjalnych międzynarodowych konkursów rozpoznawania wzorców (np. Sek. 5.17, 5.19, 5.21, 5.22), osiągając pierwsze nadludzkie wizualne rozpoznawanie wzorców w ograniczonych domenach (Sec. 5.19, 2011). Głębokie NN stały się również istotne dla bardziej ogólnej dziedziny uczenia się przez wzmacnianie (RL), gdzie nie ma nauczyciela nadzorującego (sekcja 6). głównie przez lepsze wyniki niż alternatywne metody uczenia maszynowego, takie jak maszyny jądra (Vapnik, 1995; Scholkopf i in., 1998) w wielu ważnych zastosowaniach. W rzeczywistości od 2009 r. Nadzorowane głębokie NN wygrały wiele oficjalnych międzynarodowych konkursów rozpoznawania wzorców (np. Sek. 5.17, 5.19, 5.21, 5.22), osiągając pierwsze nadludzkie wizualne rozpoznawanie wzorców w ograniczonych domenach (Sec. 5.19, 2011). Głębokie NN stały się również istotne dla bardziej ogólnej dziedziny uczenia się przez wzmacnianie (RL), gdzie nie ma nauczyciela nadzorującego (sekcja 6). głównie przez lepsze wyniki niż alternatywne metody uczenia maszynowego, takie jak maszyny jądra (Vapnik, 1995; Scholkopf i in., 1998) w wielu ważnych zastosowaniach. W rzeczywistości od 2009 r. Nadzorowane głębokie NN wygrały wiele oficjalnych międzynarodowych konkursów rozpoznawania wzorców (np. Sek. 5.17, 5.19, 5.21, 5.22), osiągając pierwsze nadludzkie wizualne rozpoznawanie wzorców w ograniczonych domenach (Sec. 5.19, 2011). Głębokie NN stały się również istotne dla bardziej ogólnej dziedziny uczenia się przez wzmacnianie (RL), gdzie nie ma nauczyciela nadzorującego (sekcja 6). osiągnięcie pierwszego nadludzkiego wizualnego rozpoznawania wzorów skutkuje ograniczonymi domenami (Sec. 5.19, 2011). Głębokie NN stały się również istotne dla bardziej ogólnej dziedziny uczenia się przez wzmacnianie (RL), gdzie nie ma nauczyciela nadzorującego (sekcja 6). osiągnięcie pierwszego nadludzkiego wizualnego rozpoznawania wzorów skutkuje ograniczonymi domenami (Sec. 5.19, 2011). Głębokie NN stały się również istotne dla bardziej ogólnej dziedziny uczenia się przez wzmacnianie (RL), gdzie nie ma nauczyciela nadzorującego (sekcja 6).

Z drugiej strony nie jestem pewien, czy koniecznie opłaca się zbudować systematykę wykluczających się wzajemnie segmentów strategii uczenia maszynowego. Myślę, że możemy powiedzieć, że istnieją perspektywy, z których modele można postrzegać jako sieci neuronowe. Nie sądzę, aby ta perspektywa była najlepsza lub przydatna we wszystkich kontekstach. Na przykład nadal planuję odnosić się do przypadkowych lasów i drzew o podwyższonym gradiencie jako „zestawach drzew” zamiast abstrahować od ich różnic i nazywać je „drzewami sieci neuronowej”. Co więcej, Schmidhuber odróżnia NN od maszyn jądra - mimo że maszyny jądra mają pewne powiązania z NN - kiedy pisze: „W nowym tysiącleciu głębokie sieci NN w końcu przyciągnęły szeroką uwagę, głównie przez lepsze wyniki niż alternatywne metody uczenia maszynowego, takie jak maszyny jądra ... w wielu ważnych zastosowaniach. „

Jeśli chcesz podstawową definicję ANN, możesz powiedzieć, że jest to ukierunkowany model graficzny, w którym dane wejściowe i wyjściowe są przetwarzane w każdym węźle za pomocą funkcji aktywacyjnej, a większość gradientu czasu jest wykorzystywana do trenowania go. Tak naprawdę powstaje pytanie: jakie modele można wyrazić jako modele graficzne?

Nie jestem ekspertem, ale uważam, że teoretycznie niektóre ANN mogą być wykazane jako kompletne Turinga, co oznacza, że ​​powinni być w stanie wykonać każdy możliwy zestaw obliczeń (z możliwą nieskończoną liczbą zasobów, pamiętajcie).

Zinterpretuję również twoje pytanie w następujący sposób:

Czy w przypadku dowolnego modelu mogę spasować razem model ANN, aby naśladować ten model, jak najbliżej i w rozsądnym czasie?

Waniliowa sieć neuronowa może naśladować drzewo decyzyjne, stosując intensywne aktywacje krokowe. Problem polega na tym, że takie aktywacje jednostek mają zerowy gradient, więc normalne opadanie gradientu nie będzie działać. Możesz powiedzieć: „nie ma problemu, po prostu użyj zmodyfikowanej formy opadania gradientu”. To jednak wciąż za mało. Dla lepszego przykładu weźmy coś takiego jak XGBOOST, który nie jest tylko lasem o podwyższonym gradiencie. Jest mnóstwo dodatkowej pracy, która polega na wybieraniu punktów podziału, przycinaniu, optymalizacji prędkości itp. Może po wystarczających modyfikacjach możesz zrobić podobnie wyglądający ANN, ale wcale nie jest jasne, że taki ANN zadziałałby przynajmniej tak jak cóż, ani jeśli jest zoptymalizowany do wykonania pracy.

$f(x)=e^{x}$

Być może dokładniejszą nazwą dla ANN są „sieci różniczkowalne”, tj. Złożone sparametryzowane funkcje, które można zoptymalizować za pomocą spadku gradientu lub jego wariantu. Jest to bardzo ogólna definicja, która kładzie nacisk na zróżnicowanie, ale nie mówi nic o głównych ideach, zadaniach, do których jest ona odpowiednia, podstawowych ramach matematycznych itp.

Zauważ, że zróżnicowanie jest cechą, a niekoniecznie główną. Na przykład, SVM można trenować przy użyciu opadania gradientu, a zatem wykazuje właściwości sieci neuronowej / różnicowalnej, ale główną ideą jest separacja danych za pomocą hiperpłaszczyzn. Autoencoder wariacyjny używa MLP dla kodera i dekodera, ale funkcja, którą optymalizujesz, pochodzi ze statystyk bayesowskich i tak dalej.

Istnieje również kilka modeli, które są często nazywane sieciami neuronowymi, ale nie używają GD do nauki. Dobrym przykładem jest RBM. Domyślam się, że etykieta „sieć neuronowa” została do niej dołączona głównie ze względów historycznych - ostatecznie twórcą RBM jest Geoffrey Hinton, a Hinton jest facetem z sieci neuronowej, prawda? Jeśli jednak przeanalizujesz model, zobaczysz, że struktura RBM jest siecią Markowa, oparta na energii funkcja kosztów pochodzi z fizyki statystycznej z początku XX wieku, a próbkowanie MCMC / Gibbs rozwijało się równolegle i całkowicie niezależnie od sieci neuronowych .

Mogę spróbować postulować pewne rzeczy, które pomagają zdefiniować sieć neuronową.

• Wykres obliczeniowy z regulowanymi parametrami.
• Wymienione parametry można dostosować do danych (rzeczywistych lub symulowanych).
• Funkcja celu, która ma zostać zoptymalizowana, jest zaangażowana pośrednio lub jawnie. Może być globalny lub lokalny dla parametrów.

Jestem prawie pewien, że obejmuje to wszystkie powszechnie używane dziś sieci neuronowe, a także niektóre ezoteryczne.

Jest to niezależne od optymalizacji (gdybyśmy narzucili optymalizację opartą na gradiencie, wówczas sieci rozwinięte nie byłyby sieciami neuronowymi).

Nie wspominają o neuronach / węzłach ani warstwach (niektóre sieci neuronowe są dziś ledwo opisane przez te terminy), ale myślę, że moglibyśmy uwzględnić to i być nieco bardziej restrykcyjni.