Jaka jest możliwa długość sekwencji dla modelu RNN?

Zastanawiam się nad użyciem wersji LSTM ( długoterminowej pamięci krótkotrwałej ) rekurencyjnej sieci neuronowej (RNN) do modelowania danych szeregów czasowych. Wraz ze wzrostem długości sekwencji danych wzrasta złożoność sieci. Jestem zatem ciekawy, jaką długość sekwencji można by modelować z dobrą dokładnością?

Chciałbym zastosować stosunkowo prostą wersję LSTM bez żadnych trudnych do wdrożenia najnowszych podejść. Każda obserwacja w moich szeregach czasowych prawdopodobnie miałaby 4 zmienne numeryczne, a liczba obserwacji wynosiłaby około 100 000 do 1 000 000.

Zależy to całkowicie od charakteru twoich danych i wewnętrznych korelacji, nie ma ogólnej zasady. Biorąc jednak pod uwagę, że masz dużą ilość danych, dwuwarstwowy LSTM może modelować dużą liczbę problemów / testów szeregów czasowych.

Co więcej, nie cofasz się w czasie do całej serii, ale zwykle do (200-300) ostatnich kroków. Aby znaleźć optymalną wartość, możesz dokonać weryfikacji krzyżowej za pomocą wyszukiwania siatki lub optymalizacji bayesowskiej. Ponadto możesz sprawdzić parametry tutaj: https://github.com/wojzaremba/lstm/blob/master/main.lua .

Tak więc długość sekwencji tak naprawdę nie wpływa na trening modelu, ale to tak, jakby mieć więcej przykładów treningu, że po prostu zachowujesz poprzedni stan zamiast go resetować.