具有不同输入形状的神经网络

Question

我目前正在设计用于灰度图像着色的神经网络架构。稍后它应该能够为具有不同大小和不同纵横比的图像着色。我读到这对于普通的 CNN 是不可能的。我还读到唯一的选择是将图像缩小到一个特定的尺寸或使用一个大的固定尺寸（如 3000x3000 像素）并将剩余的空间填充为黑色。这两个选项似乎都不是那么优雅。第一个与我想要的相反，第二个会使神经网络变慢。

然后我读到了关于全卷积网络的文章，发现那里不存在这个问题。如果它真的有效，那就太好了。我想知道为什么这个特殊的网络可以处理不同的输入形状。也许你可以给我看一些这种网络的 tensorflow 代码。

顺便说一句，我想到了将自动编码器与 GAN 相结合的架构。

Answer 1

根据我的经验，您无法在同一批次上训练任何具有不同样本大小的网络。

全卷积网络类似于末端有全连接层的全连接网络。因此，批处理中的任何输入图像都必须具有相同的暗淡 (w,h,d)。

不同之处在于，全连接层为输入批次中的每个样本输出一个输出向量，而全卷积网络为每个类输出一个概率图。

它具有比图像大小更深的含义，当尝试拟合任何数据时，它的大小必须是绝对的，并且在训练时不能更改。我猜你可以按照我所说的分批进行，但我从未尝试过。

编码器\解码器可以帮助“重建”特定尺寸的图像。

这个提示再次来自我在对象检测方面的经验，我可能错了:)