Właściwy sposób wykorzystania rekurencyjnej sieci neuronowej do analizy szeregów czasowych

Nawracające sieci neuronowe różnią się od „zwykłych” siecią tym, że mają warstwę „pamięci”. Z powodu tej warstwy rekurencyjne NN powinny być przydatne w modelowaniu szeregów czasowych. Nie jestem jednak pewien, czy dobrze rozumiem, jak ich używać.

Powiedzmy, że mam następujące szeregi czasowe (od lewej do prawej): [0, 1, 2, 3, 4, 5, 6, 7]moim celem jest przewidzenie i-tego punktu za pomocą punktów i-1i i-2jako danych wejściowych (dla każdego i>2). W „zwykłym”, niepowtarzalnym ANN I przetwarzałbym dane w następujący sposób:

 target| input
      2| 1 0
      3| 2 1
      4| 3 2
      5| 4 3
      6| 5 4
      7| 6 5 

Następnie stworzyłbym sieć z dwoma wejściami i jednym węzłem wyjściowym i trenowałem ją z powyższymi danymi.

Jak trzeba zmienić ten proces (jeśli w ogóle) w przypadku sieci powtarzających się?

To, co opisujesz, jest w rzeczywistości podejściem „przesuwnego okna czasowego” i różni się od sieci powtarzających się. Możesz użyć tej techniki z dowolnym algorytmem regresji. Istnieje ogromne ograniczenie tego podejścia: zdarzenia na wejściach można korelować tylko z innymi wejściami / wyjściami, które leżą co najwyżej t kroków czasowych, gdzie t jest rozmiarem okna.

Np. Możesz pomyśleć o łańcuchu porządkowym Markowa t. RNN nie cierpią z tego powodu w teorii, jednak w praktyce nauka jest trudna.

Najlepiej zilustrować RNN w przeciwieństwie do sieci feedfaward. Rozważmy (bardzo) prostą sieć sprzężenia zwrotnego gdzie to wynik, to macierz wag, a to dane wejściowe.$y = Wx$$y$$W$$x$

Teraz używamy sieci cyklicznej. Teraz mamy sekwencję danych wejściowych, więc oznaczymy dane wejściowe przez dla i-tego danych wejściowych. Odpowiednie wyjście i jest następnie obliczane przez .$x^{i}$$y^{i} = Wx^i + W_ry^{i-1}$

Mamy zatem inną macierz wag która włącza moc wyjściową z poprzedniego kroku do prądu wyjściowego.$W_r$

Jest to oczywiście prosta architektura. Najczęściej jest to architektura, w której masz ukrytą warstwę, która jest cyklicznie połączona ze sobą. Niech oznacza ukrytą warstwę w czasie i. Formuły to:$h^i$

Gdzie jest odpowiednią funkcją nieliniowości / przenoszenia, taką jak sigmoid. i to wagi łączące między wejściem a ukrytym i ukrytym oraz wyjściową warstwą. reprezentuje powtarzające się wagi.W 1 W 2 $\sigma$$W_1$$W_2$$W_r$

Oto schemat struktury:

Możesz również rozważyć użycie po prostu szeregu przekształceń szeregów czasowych dla danych wejściowych. Dla przykładu, dane wejściowe mogą być:

1. najnowsza wartość interwału (7)
2. następna najnowsza wartość interwału (6)
3. delta między najnowszym a następnym najnowszym (7-6 = 1)
4. trzecia najnowsza wartość przedziału (5)
5. delta między drugim a trzecim ostatnim (6-5 = 1)
6. średnia z ostatnich trzech przedziałów ((7 + 6 + 5) / 3 = 6)

Tak więc, jeśli twoje dane wejściowe do konwencjonalnej sieci neuronowej byłyby tymi sześcioma transformowanymi danymi, zwykłe algorytm propagacji wstecznej nie byłby trudny do nauczenia się wzorca. Trzeba jednak zakodować transformacje, które pobierają nieprzetworzone dane i przekształcają je w powyższe 6 danych wejściowych do sieci neuronowej.

Inną możliwością są historyczne spójne sieci neuronowe (HCNN) . Architektura ta może być bardziej odpowiednia dla wyżej wspomnianej konfiguracji, ponieważ eliminują często arbitralne rozróżnienie między zmiennymi wejściowymi i wyjściowymi, a zamiast tego próbują odtworzyć pełną podstawową dynamikę całego systemu poprzez szkolenie ze wszystkimi obserwowalnymi.

Kiedy pracowałem dla Siemensa, opublikowałem artykuł na temat tej architektury w książce Springera Verlaga: Zimmermann, Grothmann, Tietz, von Jouanne-Diedrich: Modelowanie rynku, prognozowanie i analiza ryzyka za pomocą spójnych sieci neuronowych

Aby dać wyobrażenie o paradygmacie tutaj, jest krótki fragment:

W tym artykule przedstawiamy nowy typ rekurencyjnego NN, zwany historyczną spójną siecią neuronową (HCNN). HCNN umożliwiają modelowanie silnie oddziałujących nieliniowych układów dynamicznych w wielu skalach czasowych. HCNN nie rozróżniają między wejściami i wyjściami, ale obserwowalne modele osadzone w dynamice dużej przestrzeni stanów.

[...]

RNN służy do modelowania i prognozowania otwartego układu dynamicznego przy użyciu metody regresji nieliniowej. Wiele rzeczywistych zastosowań technicznych i ekonomicznych należy jednak rozpatrywać w kontekście dużych systemów, w których różne (nieliniowe) dynamiki oddziałują ze sobą w czasie. Rzutowany na modelu oznacza, że ​​nie rozróżniamy wejść i wyjść, ale mówimy o obserwowalnych. Ze względu na częściową obserwowalność dużych układów potrzebujemy stanów ukrytych, aby móc wyjaśnić dynamikę obserwowalnych. Obserwowalne i ukryte zmienne powinny być traktowane przez model w ten sam sposób. Termin obserwowalne obejmuje zmienne wejściowe i wyjściowe (tj.$Y_τ := (y_τ, u_τ)$). Jeśli uda nam się wdrożyć model, w którym można opisać dynamikę wszystkich obserwowalnych, będziemy w stanie zamknąć otwarty system.

... i na podstawie wniosku:

Wspólne modelowanie ukrytych i obserwowanych zmiennych w dużych nawracających sieciach neuronowych stwarza nowe perspektywy planowania i zarządzania ryzykiem. Podejście kompleksowe oparte na HCNN oferuje alternatywne podejście do prognozowania przyszłych rozkładów prawdopodobieństwa. HCNN dają doskonały opis dynamiki obserwowalnych w przeszłości. Jednak częściowa obserwowalność świata skutkuje nieuniknioną rekonstrukcją ukrytych zmiennych, a tym samym różnymi przyszłymi scenariuszami. Ponieważ prawdziwy rozwój dynamiki jest nieznany, a wszystkie ścieżki mają takie samo prawdopodobieństwo, średnią zestawu można uznać za najlepszą prognozę, podczas gdy przepustowość dystrybucji opisuje ryzyko rynkowe. Dzisiaj, wykorzystujemy prognozy HCNN do prognozowania cen energii i metali szlachetnych w celu optymalizacji terminów decyzji o zakupie. Obecnie trwają prace nad analizą właściwości zespołu i wdrożeniem tych koncepcji w praktycznym zarządzaniu ryzykiem i aplikacjach na rynku finansowym.

Części referatu można obejrzeć publicznie: tutaj