在 Keras 中使用带有 CNN 的 RNN

Question

初学者问题

使用 Keras，我有一个顺序 CNN 模型，它根据图像（输入）预测 [3*1] 大小的输出（回归）。

如何实现 RNN，以便将模型的输出作为第二个输入添加到下一步。 （所以我们有 2 个输入：图像和前一个序列的输出）？

model = models.Sequential()
model.add(layers.Conv2D(64, (3, 3), activation='relu', input_shape=X.shape[1:]))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Flatten())
model.add(layers.Dense(3, activation='linear'))

Answer 1

我发现的最简单的方法是直接扩展Model。以下代码可在 TF 2.0 中运行，但可能不适用于旧版本：

class RecurrentModel(Model):
    def __init__(self, num_timesteps, *args, **kwargs):
        self.num_timesteps = num_timesteps
        super().__init__(*args, **kwargs)

    def build(self, input_shape):
        inputs = layers.Input((None, None, input_shape[-1]))
        x = layers.Conv2D(64, (3, 3), activation='relu'))(inputs)
        x = layers.MaxPooling2D((2, 2))(x)
        x = layers.Flatten()(x)
        x = layers.Dense(3, activation='linear')(x)
        self.model = Model(inputs=[inputs], outputs=[x])

    def call(self, inputs, **kwargs):
        x = inputs
        for i in range(self.num_timestaps):
            x = self.model(x)
        return x