Zaskakujące, że nie zadawano tego wcześniej - przynajmniej nie znalazłem niczego oprócz niejasnych pytań.
Więc, co jest powtarzającym się sieć neuronowa, i jakie są ich zalety w stosunku do regularnych NNS?
Odpowiedzi:
Nawracające sieci neuronowe (RNN) to klasa sztucznej architektury sieci neuronowej inspirowana cykliczną łącznością neuronów w mózgu. Używa iteracyjnych pętli funkcyjnych do przechowywania informacji.
Różnica w stosunku do tradycyjnych sieci neuronowych wykorzystujących zdjęcia z tej książki :
I RNN:
Zwróć uwagę na różnicę - połączenia sieci neuronowych z przekazywaniem nie tworzą cykli. Jeśli złagodzimy ten warunek i zezwolimy również na połączenia cykliczne, otrzymamy rekurencyjne sieci neuronowe (RNN). Widać to w ukrytej warstwie architektury.
Chociaż różnica między perceptronem wielowarstwowym a RNN może wydawać się trywialna, implikacje dla uczenia się sekwencji są dalekosiężne. MLP może mapować tylko z wektorów wejściowych do wyjściowych , podczas gdy RNN może w zasadzie mapować z całej historii poprzednich danych wejściowych do każdego wyjścia . Rzeczywiście, odpowiednikiem uniwersalnej teorii aproksymacji dla MLP jest to, że RNN z wystarczającą liczbą jednostek ukrytych może aproksymować dowolne mierzalne mapowanie sekwencji na sekwencję z dowolną dokładnością.
Ważne na wynos:
Połączenia cykliczne pozwalają „pamięci” poprzednich wejść na zachowanie w wewnętrznym stanie sieci, a tym samym wpływają na wyjście sieciowe.
Mówienie o zaletach nie jest właściwe, ponieważ oba są najnowocześniejsze i są szczególnie dobre w niektórych zadaniach. Szeroka kategoria zadań, w których RNN wyróżnia się, to:
Celem znakowania sekwencji jest przypisanie sekwencji etykiet, sporządzonych ze stałego alfabetu, do sekwencji danych wejściowych.
Przykład: Transkrybuj sekwencję funkcji akustycznych wypowiadanymi słowami (rozpoznawanie mowy) lub sekwencję ramek wideo z gestami rąk (rozpoznawanie gestów).
Niektóre z pod-zadań w oznaczaniu sekwencji to:
Klasyfikacja sekwencji
Sekwencje etykiet są ograniczone do pierwszej. Jest to określane jako klasyfikacja sekwencji, ponieważ każda sekwencja wejściowa jest przypisana do jednej klasy. Przykłady zadań związanych z klasyfikacją sekwencji obejmują identyfikację jednego mówionego utworu i rozpoznanie indywidualnego pisma odręcznego.
Klasyfikacja segmentów
Klasyfikacja segmentów odnosi się do zadań, w których sekwencje docelowe składają się z wielu etykiet, ale lokalizacje etykiet - to znaczy pozycje segmentów wejściowych, do których odnoszą się etykiety - są znane z góry.
Charakterze powtarzającym sieć neuronowa (RNN) jest sztuczna sieć neuronowa , która zawiera w tył lub na własny połączeń, a nie tylko o połączeniach typu forward, jak w sieci neuronowej feed-forward (FFNN). Przymiotnik „rekurencyjny” odnosi się zatem do tych połączeń wstecznych lub połączeń własnych, które tworzą pętle w tych sieciach.
RNN może być trenowany przy użyciu wstecznej propagacji w czasie (BBTT), tak że te połączenia wsteczne lub samozłącza „zapamiętują” wcześniej widoczne dane wejściowe. Dlatego te połączenia są głównie wykorzystywane do śledzenia relacji czasowych między elementami sekwencji danych wejściowych, co sprawia, że RNN są dobrze dostosowane do przewidywania sekwencji i podobnych zadań.
Istnieje kilka modeli RNN: na przykład RNN z jednostkami LSTM lub GRU. LSTM (lub GRU) to RNN, którego pojedyncze jednostki wykonują bardziej złożoną transformację niż jednostka w „zwykłym RNN”, która wykonuje liniową transformację danych wejściowych, a następnie zastosowanie do tego funkcji nieliniowej (np. ReLU) transformacja liniowa. Teoretycznie „zwykły RNN” jest tak samo silny jak RNN z jednostkami LSTM. W praktyce cierpią z powodu problemu „znikania i eksplozji gradientów”. Stąd w praktyce stosuje się LSTM (lub podobne wyrafinowane jednostki cykliczne).