ConvLSTM2D 层的应用答案

【问题标题】：Application of ConvLSTM2D layersConvLSTM2D 层的应用
【发布时间】：2018-03-24 19:23:47
【问题描述】：

我在 github 上浏览了一些代码，并注意到 Keras 中有一个名为 ConvLSTM2D 的层。 Keras 文档指出 It is similar to an LSTM layer, but the input transformations and recurrent transformations are both convolutional.。

我想知道这一层的实际应用是什么。我对 NLP 很熟悉，我还没有看到这个层被使用过。

机器学习/深度学习的哪个领域使用了这一层。？

【问题讨论】：

标签： machine-learning deep-learning keras

【解决方案1】：

ConvLSTM2D 层用于时空问题的计算机视觉问题，即您想要提取空间特征以及时间相关性的地方。参考ConvLSTM论文

"Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting"

它解释了全连接 LSTM 可以捕获时间相关性，但不编码空间数据。这就是为什么他们提出了一个模型，其中状态的输入和状态到状态的转换是卷积的

我可以找到 ConvLSTM 是自然视频序列预测、手势识别和视频分类模型的一部分的论文，即基本上我们想要学习空间和时间数据的地方

【讨论】：

【解决方案2】：

正如 user239457 所说，用于提取与时间和空间相关的特征（实际上他引用了第一次提出 ConvLSTM 层的文章）。

那么，我们每天消费的哪些信息是时间和空间相关的？是的，你猜对了：视频。

从这个意义上说，深度学习的其他领域也使用了这一层：

对象跟踪：您要在其中预测移动目标轨迹的图像序列，即从图像到边界框
视频中的对象分割：与以前相同，但有分割（更难）
活动识别：您要在其中生成视频说明（描述正在发生的事情的句子）的图像序列

如果您对此感到好奇，可以使用一个轻量级数据集来学习对象跟踪的基础知识：Moving MNIST

【讨论】：