Keras 的 LSTM 层中的 4D 输入

Question

我的数据形状为(10000, 20, 15, 4)，其中num samples = 10000、num series in time = 20、height = 15、weight = 4。所以我有表15x4，它随着时间的推移而分布。这是我想用这些数据训练它的模型：

...
model.add((LSTM(nums-1,return_sequences=True,input_shape=(20,15,4), activation='relu')))
model.add((LSTM(nums-1,return_sequences=False,input_shape=(20,15,4), activation='tanh')))
model.add(Dense(15,activation='relu'))
...

但是，我收到以下错误：

ValueError: Input 0 is incompatible with layer lstm_1: expected ndim=3, 
found ndim=4

如何定义具有 4D 输入形状的 LSTM 层？

Answer 1

LSTM 层接受一个形状为(n_sample, n_timesteps, n_features) 的 3D 数组作为输入。由于数据中每个时间步长的特征是一个(15,4) 数组，因此您需要先将它们展平为长度为 60 的特征向量，然后将其传递给您的模型：

X_train = X_train.reshape(10000, 20, -1)

# ...
model.add(LSTM(...,input_shape=(20,15*4), ...)) # modify input_shape accordingly

或者，您可以使用包裹在TimeDistributed 层中的Flatten 层作为模型的第一层来展平每个时间步：

model.add(TimeDistributed(Flatten(input_shape=(15,4))))

此外，请注意，如果每个时间步长（即数组(15, 4)）是一个特征图，其元素之间存在局部空间关系，例如图像补丁，您也可以使用ConvLSTM2D 而不是LSTM层。否则，展平时间步长并使用 LSTM 就可以了。

---

附带说明：您只需在模型的第一层指定input_shape 参数。在其他层上指定它是多余的，并且会被忽略，因为它们的输入形状是由 Keras 自动推断的。