我们可以使用 Keras 进行视频数据增强吗？答案

【问题标题】：Can we do video data augmentation with Keras?我们可以使用 Keras 进行视频数据增强吗？
【发布时间】：2021-12-06 01:59:24
【问题描述】：

是否可以使用 Keras 在数据集上应用视频数据增强？我知道这是图像的可能性，就像here 解释的那样，但我没有找到视频剪辑的等价物。

我的数据集包含 500 帧的视频剪辑。当我在一帧上应用变换时，我需要它对于后面的 499 帧是相同的。

【问题讨论】：

【解决方案1】：

如果你想在 keras 中使用 ImageDataGenerator 类，我认为你需要手动在每一帧中使用 apply_transform 函数。例如

gen = ImageDataGenerator()
for i in range(length_video):
     new_frames[i] = gen.apply_transform(frames[i], {'ty':100, 'theta':10})

另外，你可以试试这个https://github.com/okankop/vidaug，它是用于视频增强的

【讨论】：

如果你应用旋转作为一种增强方法，你应该指定一个旋转角度范围 [0, theta]。这是否意味着它对每个帧随机应用旋转，角度包含在区间 [0, theta] 内？

【解决方案2】：

您可以使用来自here 的vidaug 库。

您也可以使用scipy.ndimage 来应用一些简单的多维操作。这是Multidimensional image processing包的链接。

【讨论】：