使用梯度上升进行图像分割答案

【问题标题】：Using gradient ascent for image segmentation使用梯度上升进行图像分割
【发布时间】：2017-11-04 04:10:44
【问题描述】：

我正在通过梯度上升使用显着图进行图像分割。这是该过程的图像：http://imgur.com/a/h8vBZ

我有一个训练有素的模型，可以准确预测我的课程。然后，该模型用于计算输入图片的梯度，其中梯度上升 wrt 损失。对我来说，这里产生的梯度代表了模型在预测中关注的内容。

我运行一个分位数过滤器来挑选与类最相关的梯度值（像素），然后从中生成一个二进制掩码。这很好用，但发现地图可以在图像中的类周围更准确和更紧密。我阅读了条件随机场作为生成更准确和平滑分割结果的机制，并试图实现这一点，但感觉好像我对这里产生的梯度没有完全理解。

我的问题是：在这种情况下，渐变到底代表什么？我的猜测是这些值本质上是像素级预测/像素标签。这相当于一元势吗？

【问题讨论】：

【解决方案1】：

有一种端到端训练方法将神经网络与 CRF 相结合，可以完全按照您的意愿进行操作。论文是这个：https://arxiv.org/pdf/1611.10229.pdf。

【讨论】：

【解决方案2】：

根据您的示例图片，我有两个建议。像素标签和电位之间的区别在本教程中有很好的描述：Demo Train

分位数过滤器在对象处过度填充。我怀疑您将图像值标准化为 [0..255] 范围，并在感兴趣对象的位置使用这种“波浪效果”。如果您首先将图像值缩放小于 1 的某个因子（例如 0,5 或 0,1），那么您可以将它们正确归一化到 [0..255] 范围内，并使用阈值提取更准确的类区域。
您可以为您的 CRF 尝试高级成对电位。例如对比敏感电位，甚至concatenated edge potentials。它们可能有助于更准确地细化类对象。此外，值得尝试添加更多特征来训练一元势。 HOG 或稀疏编码功能可能会有所帮助。

【讨论】：