Wiele do jednego i wiele do wielu przykładów LSTM w Keras

Próbuję zrozumieć LSTM i jak je zbudować za pomocą Keras. Dowiedziałem się, że są zasadniczo 4 tryby do uruchomienia RNN (4 właściwe na zdjęciu)

Źródło obrazu: Andrej Karpathy

Teraz zastanawiam się, jak wyglądałby minimalistyczny fragment kodu dla każdego z nich w Keras. Więc coś w stylu

model = Sequential()
model.add(LSTM(128, input_shape=(timesteps, data_dim)))
model.add(Dense(1))

dla każdego z 4 zadań, może z niewielkim wyjaśnieniem.

Więc:

1. Jeden do jednego : możesz użyć Densewarstwy, ponieważ nie przetwarzasz sekwencji:

   model.add(Dense(output_size, input_shape=input_shape))

2. Jeden do wielu : ta opcja nie jest obsługiwana dobrze, ponieważ łączenie modeli w łańcuchy nie jest łatwe Keras, więc poniższa wersja jest najłatwiejsza:

   model.add(RepeatVector(number_of_times, input_shape=input_shape))
   model.add(LSTM(output_size, return_sequences=True))

3. Wiele do jednego : w rzeczywistości fragment kodu jest (prawie) przykładem takiego podejścia:

   model = Sequential()
   model.add(LSTM(1, input_shape=(timesteps, data_dim)))

4. Wiele do wielu : jest to najłatwiejszy fragment kodu, gdy długość danych wejściowych i wyjściowych odpowiada liczbie powtarzających się kroków:

   model = Sequential()
   model.add(LSTM(1, input_shape=(timesteps, data_dim), return_sequences=True))

5. Wiele do wielu, gdy liczba kroków różni się od długości wejścia / wyjścia : w Keras jest to bardzo trudne. Nie ma łatwych fragmentów kodu, które to zakodowały.

EDYCJA: Ad 5

W jednej z moich ostatnich aplikacji zaimplementowaliśmy coś, co może być podobne do wielu do wielu z czwartego obrazu. W przypadku, gdy chcesz mieć sieć o następującej architekturze (gdy wejście jest dłuższe niż wyjście):

                                        O O O
                                        | | |
                                  O O O O O O
                                  | | | | | | 
                                  O O O O O O

Możesz to osiągnąć w następujący sposób:

    model = Sequential()
    model.add(LSTM(1, input_shape=(timesteps, data_dim), return_sequences=True))
    model.add(Lambda(lambda x: x[:, -N:, :]

Gdzie Njest liczba ostatnich kroków, które chcesz wykonać (na obrazku N = 3).

Od tego momentu dotarcie do:

                                        O O O
                                        | | |
                                  O O O O O O
                                  | | | 
                                  O O O 

jest tak prosta, jak sztuczna sekwencja długości wypełnienia Nprzy użyciu np. 0wektorów, w celu dostosowania jej do odpowiedniego rozmiaru.

Świetna odpowiedź @Marcin Możejko

Dodałbym do NR.5 (wiele do wielu z różną długością wejścia / wyjścia):

A) jako Vanilla LSTM

model = Sequential()
model.add(LSTM(N_BLOCKS, input_shape=(N_INPUTS, N_FEATURES)))
model.add(Dense(N_OUTPUTS))

B) jako koder-dekoder LSTM

model.add(LSTM(N_BLOCKS, input_shape=(N_INPUTS, N_FEATURES))  
model.add(RepeatVector(N_OUTPUTS))
model.add(LSTM(N_BLOCKS, return_sequences=True))  
model.add(TimeDistributed(Dense(1)))
model.add(Activation('linear'))