Dlaczego wagi sieci RNN / LSTM są dzielone w czasie?

Ostatnio zainteresowałem się LSTM i byłem zaskoczony, gdy dowiedziałem się, że wagi są dzielone w czasie.

• Wiem, że jeśli dzielisz wagi w czasie, to twoje wejściowe sekwencje czasowe mogą mieć zmienną długość.

• Dzielone ciężary pozwalają trenować o wiele mniej parametrów.

Z mojego zrozumienia, powód, dla którego warto przejść na LSTM vs. jakąś inną metodę uczenia się, jest taki, że wierzysz, że w twoich danych istnieje jakaś struktura czasowa / sekwencyjna / zależność, której chciałbyś się nauczyć. Jeśli poświęcisz „luksus” o zmiennej długości i zaakceptujesz długi czas obliczeń, czy RNN / LSTM bez wspólnych ciężarów (tj. Za każdym razem, gdy masz różne ciężary) będzie działał znacznie lepiej, czy jest coś, czego mi brakuje?

Przyjęta odpowiedź koncentruje się na praktycznej stronie pytania: wymagałoby to wielu zasobów, jeśli parametry nie byłyby współużytkowane. Jednak decyzja o współużytkowaniu parametrów w sieci RNN została podjęta, gdy jakieś poważne obliczenia stanowiły problem (według wiki według lat 80-tych ), więc uważam, że nie był to główny argument (choć nadal aktualny).

Istnieją tylko teoretyczne powody udostępniania parametrów:

• Pomaga w stosowaniu modelu do przykładów o różnych długościach. Podczas czytania sekwencji, jeśli model RNN używa różnych parametrów dla każdego kroku podczas treningu, nie uogólnia na niewidzialne sekwencje o różnych długościach.

• Często sekwencje działają zgodnie z tymi samymi regułami w całej sekwencji. Na przykład w NLP:

                                                     „W poniedziałek padał śnieg”

                                                     „W poniedziałek padał śnieg”

... te dwa zdania oznaczają to samo, chociaż szczegóły znajdują się w różnych częściach sekwencji. Współdzielenie parametrów odzwierciedla fakt, że wykonujemy to samo zadanie na każdym kroku, w wyniku czego nie musimy ponownie uczyć się reguł w każdym punkcie zdania.

LSTM nie różni się pod tym względem, dlatego wykorzystuje również wspólne parametry.

Perspektywa „dzielonych wag” wynika z myślenia o RNN jako o sieciach feedforward rozwijanych w czasie. Gdyby wagi były różne w każdym momencie, byłaby to tylko sieć zwrotna. Ale przypuszczam, że innym sposobem myślenia o tym byłby RNN, którego wagi są funkcją zmieniającą się w czasie (i która mogłaby pozwolić ci zachować zdolność przetwarzania sekwencji o zmiennej długości).

Jeśli to zrobisz, liczba parametrów będzie rosła liniowo wraz z liczbą kroków czasowych. Byłaby to duża eksplozja parametrów dla sekwencji o znacznej długości. Rzeczywiście sprawiłby, że sieć byłaby silniejsza, gdybyś miał ogromne zasoby obliczeniowe do jej uruchomienia i ogromne dane, aby ją ograniczyć. W przypadku długich sekwencji prawdopodobnie byłby to niewykonalny obliczeniowo, a do tego dojdzie do nadmiernego dopasowania. W rzeczywistości ludzie zwykle idą w przeciwnym kierunku, uruchamiając skróconą propagację wsteczną w czasie, która rozwija sieć tylko przez krótki czas, a nie przez całą sekwencję. Odbywa się to w celu wykonalności obliczeniowej. Co ciekawe, RNN mogą nadal uczyć się struktury czasowej, która wykracza poza długość obcięcia, ponieważ jednostki rekurencyjne mogą przechowywać pamięć z wcześniej.

Myślę, że ponieważ RNN z ukrytymi nawrotami (i wagami dzielonymi w czasie) są równoważne z Uniwersalnymi Maszynami Turinga, pozwalanie im mieć różne wagi dla różnych kroków czasowych nie czyni ich mocniejszymi.