输出维度低于输入维度的 Keras 视频帧预测答案

【问题标题】：Keras video frame prediction with lower output dimension then input dimension输出维度低于输入维度的 Keras 视频帧预测
【发布时间】：2018-09-30 04:21:00
【问题描述】：

我想训练一个 Keras DNN 进行视频帧预测：

输入：视频的连续 4 帧
输出：下一帧，从网络预测

所以，基本上，维度是：输入：(number_samples, 4, 60, 60)，输出：(number_samples, 1, 60, 60)。 我需要一些帮助才能将输入中的 4 帧降低到输出中的 1 帧。

我找到了an example here 并愿意使用它。

问题是，在该网络中，输出不是一帧，而是与输入相同的帧数。（所以我的任务实际上更简单，因为我只想生成下一帧，而不是 4）。 现在我不知道，我可以在网络末端附加哪些层，或者我可以如何更改网络，因此输出尺寸符合要求。（一帧而不是 4 帧）。

在最后添加一个 Conv2D 层不起作用，因为它与 Conv3D 的尺寸不匹配。

关于如何解决该问题以及我的网络架构可能是什么样子的任何想法？对我的一般任务以及我如何为其建立良好网络的任何建议也将不胜感激。

【问题讨论】：

标签： tensorflow machine-learning neural-network deep-learning keras

【解决方案1】：

代码示例中的这个循环（您为其提供了 URL）可以根据您的需要进行定制。

for j in range(16):
    new_pos = seq.predict(track[np.newaxis, ::, ::, ::, ::])
    new = new_pos[::, -1, ::, ::, ::]
track = np.concatenate((track, new), axis=0)

【讨论】：