Keras：用于图像处理或变换的 CNN答案

【问题标题】：Keras : CNN for image processing or transformKeras：用于图像处理或变换的 CNN
【发布时间】：2018-04-21 13:50:40
【问题描述】：

我是 keras 和机器学习的新手。我的研究问题绝对可以从使用卷积神经网络 (cnn) 中受益。我正在尝试为特定于我的研究问题的某些图像转换构建一个 cnn。到目前为止，我遇到的大多数 cnn 示例都是某种形式的分类。对于分类示例，我了解 cnn 的基本操作，给定输入图像，网络会给出一个数字。将该数字与标签（与输入图像相关联）进行比较，然后将其中的误差反向传播到网络以调整下一次迭代的权重。对于我的转换问题，网络的输出是图像，而作为预期输出的“标签”也是图像。这就是我卡住的地方。如何使用图像作为标签，以及我需要在 model.fit () 中进行哪些修改才能使用图像作为标签。

感谢您，我们将非常感谢您提供有关此问题的任何指导。最好的， snsvsn

【问题讨论】：

标签： keras convolutional-neural-network

【解决方案1】：

首先，当您说变换时，它是什么意思？它是不是类似于变换矩阵，可以表示为一组参数。或者其实很复杂，不是几个参数就能轻易表达出来的。

对于前一种情况，例如一个透视变换矩阵，可以直接回归这些参数。换句话说，您不必将图像用作网络目标。相反，您可以训练 CNN 来预测所有矩阵元素。

对于后一种情况，简短的回答是肯定的。您应该进一步阅读特殊网络中的材料，例如spatial transformer networks。请注意，我并不是说空间变压器网络会解决您的问题，但它指向了正确的方向，即

了解网络中所有与变换相关的参数
以可区分的方式转换您的输入图像（这可能是自定义层）
计算转换后的图像和目标之间的重建损失（例如 MSE）。

【讨论】：