如何用 RNN 建模时间相关矩阵？答案

【问题标题】：How to model a time dependant matrix with RNN?如何用 RNN 建模时间相关矩阵？
【发布时间】：2016-09-09 19:15:25
【问题描述】：

我正在研究视频分类。假设，我对视频进行时间子采样。所以对于每个子样本，我设计了一些特性。假设我可以用二维矩阵来表示这些特征。

因此，矩阵的这些值是时间相关的。所以对于每个视频，我都有一组矩阵，它们是时间相关的。

所以我需要使用 RNN 对这些时间相关的矩阵值进行建模并表示视频。这种表示应该将视频分类。换句话说，RNN 应该能够根据这些时间相关的矩阵值将视频分类。

我需要知道，RNN 可以做到这一点吗？这是一个好习惯吗？如果是这样，任何人都可以提供给我的指导方针是什么。有什么好的图书馆可以使用？什么是好的教程？谢谢。

【问题讨论】：

【解决方案1】：

您将视频的图像展平并将它们用作序列的元素。

你必须在 RNN 下放置一个卷积网络，很可能会得到合理的结果。

因此，您将图像输入到卷积网络，然后将激活图展平并将其输入到 RNN 单元。

【讨论】：