【发布时间】：2020-07-27 01:16:25
【问题描述】：
我想更好地理解ConvLSTM2D Keras 层。
它是否对 2D 输入（图像）执行 2D 卷积，然后对其输出进行平均/展平并将其输入 LSTM 模块？ 但我猜它基本上是一个 LSTM 单元，其中矩阵乘法被卷积运算所取代。对吗？
谢谢
【问题讨论】：
标签： tensorflow keras conv-neural-network lstm
【发布时间】：2020-07-27 01:16:25
【问题描述】：
是的，您对 CONVLSTM2D 的概念是正确的。
CONVLSTM2D 架构将 LSTM 的门控与 2D 卷积相结合。
正如您所提到的，CONVLSTM 层将执行与 LSTM 类似的任务，但它不是矩阵乘法，而是进行卷积运算并保留输入维度。
另一种不同的方法是图像通过卷积层，结果将是一个扁平的一维数组，这将是 LSTM 层的输入，随着时间的推移具有一组特征。
Kera 的 CONVLSTM 层的输入：是一个带形状的 5D 张量
(samples, time, channels, rows, cols) 如果是频道在前。(samples, time, rows, cols, channels) 如果是频道在后。
CONVLSTM 层的输出：
如果return_sequences = True，那么它是一个有形状的5D张量
(samples, time, filters, rows, cols)
如果 return_sequences = False 那么它是一个 4D 张量的形状。
(samples, filters, rows, cols)
你可以参考this论文，CONVLSTM的实现是从那里完成的。
【讨论】：