使用 TensorFlow 进行图像相似度检测

Question

最近我开始玩 tensorflow，同时尝试学习流行的算法，我需要找到图像之间的相似性。

图像 A 由我提供给系统，用户 x 提供图像 B，如果图像 B 相似（颜色和类别），系统应将图像 A 检索给用户 x。

现在我有几个问题：

1. 我们认为这种情况是监督学习吗？我在问 因为我不认为这是一个分类问题（困惑！！）
2. 我应该使用什么算法来训练等等。
3. 应该经常进行重新训练，我应该如何解决这个问题 问题所以我不会每次都从头开始训练（微调？？）

Answer 1

我们认为这种情况是监督学习吗？

当你有标签来优化你的模型时，它就是监督学习。所以对于大多数神经网络来说，它是有监督的。

不过，您也可以查看完整的任务。我猜你没有图像对的任何基本事实以及你的模型应该输出的“期望”相似度值？

解决这个听起来本质上是无监督的问题的一种方法是采用在 1000 类图像网络上训练（以有监督的方式）训练的 CNN（卷积神经网络）。要获得两个图像的相似性，您可以简单地获取输出概率分布的欧几里德距离。这不会导致出色的结果，但可能是一个很好的开始。

1. 我应该使用什么算法来训练等等。

首先，您应该定义“相似”对您意味着什么。当它们包含相同的对象（类）时，两个图像是否相似？如果图像的总体颜色相同，它们是否相似？

例如，以下 3 对图像的相似度如何？

查看FaceNet 并搜索“基于内容的图像检索”(CBIR)：

• Wikipedia
• Google Scholar

Answer 2

1. 这可以是监督学习。您可以将图像分类，如果两个图像属于同一类别（或接近一个类别），您可以认为它们是相似的。

2. 您可以将深度常规神经网络用于 imagenet，例如 inception model。初始模型输出 1000 个类别的概率图（这是一个值总和为 1 的向量）。可以通过计算两张图片的向量距离来得到它们的相似度。

3. 在初始模型的同一页面上，您还将找到重新训练模型的说明：https://github.com/tensorflow/models/tree/master/inception#how-to-fine-tune-a-pre-trained-model-on-a-new-task