是否可以将多个图像输入馈送到卷积神经网络答案

【问题标题】：Is it possible to feed multiple images input to convolutional neural network是否可以将多个图像输入馈送到卷积神经网络
【发布时间】：2020-04-12 07:52:40
【问题描述】：

我有一个包含许多图像的数据集，其中图像具有 5 个放大倍数（x10、x20、x30、x40、x50）到同一类，但它们不是序列数据，并且所有图像都处于 RGB 模式，大小为 512x512 和我想将这 5 张图像作为 CNN 的输入，但我不知道如何操作。另外，还有一个问题是，一旦模型在 5 图像管道上得到了很好的训练，当我只有一张图像（一个放大倍数，例如 x10）时，它是否可以或是否可以工作？

【问题讨论】：

查看此问题的公认答案：stackoverflow.com/questions/40685452/…
@bogatron 我不这么认为，我也在研究 Keras，而且我没有 TensorFlow 的经验
你应该标记你的问题keras而不是tensorflow。

标签： tensorflow machine-learning deep-learning computer-vision conv-neural-network

【解决方案1】：

你问了两个问题。对于第一种，有两种方法可以做到这一点。 1-你可以设计模型，输入大小为5×512×512×3，然后你去训练模型。

对于第二个问题，您需要设计模型以处理feature absence 或缺少的功能。对于一个复杂的，我能想到的，你可以这样设计模型，每张图像有 5 个输入，每张图像都经过一个或多个 CNN，然后在一层或几层之后将它们合并在一起。对于每个输入，您可以考虑一个附加特征，一个布尔值，指示是否应在训练中考虑当前图像（不存在或存在）。在你的训练过程中，你应该将所有 5 个图像结合起来，并考虑其中一些图像的缺失，以便你的模型学会处理输入中 5 个图像中的一个或多个图像的缺失。我希望我足够清楚，它会有所帮助。祝你好运。

【讨论】：

我想到了 2 个想法：1- 将 5 个图像放在同一个批次中。 2- 使用 CNN-LSTM 那么你怎么看？
1- 这种方法的缺点是，在测试期间，您将根据 5 个中的一个进行分类，这意味着您不会使用全部信息来做出决定。尽管您可以进行多数投票或类似的事情作为后处理技巧，但您仍然有多达 5 个单独的分类，并且您不使用分类部分中的共享信息。 2- 使用 LSTM 可能有效，但从逻辑上讲，我不明白为什么应该考虑 5 个不同图像之间的序列。