如何在图像上应用 word2vec？答案

【问题标题】：How to apply word2vec on images?如何在图像上应用 word2vec？
【发布时间】：2015-09-04 01:46:33
【问题描述】：

我一直在研究 Google 的 word2vec 模型。我能够为文本词语料库生成最大 300 维的向量。这是一个非常令人印象深刻的工具，而且在大数据方面的准确性更高。

我很好奇，有什么方法可以使用 word2vec 在灰度图像上生成向量。我确信方法是相同的，您根据像素强度生成向量，然后计算余弦相似度。

我正在尝试建立一个模型来计算灰度图像的相似性距离。除了适用于文本的 word2vec 或 glove 之外，任何库都能够做到这一点？

【问题讨论】：

【解决方案1】：

我同意你的观点，word2vec 是一个非常令人印象深刻的工具，但是这个模型是通过预测某些文章或新闻中的下一个单词来训练的。总而言之，我认为在 image 上使用 word2vec 没有意义。

您可以使用skimage 进行一些图像测量。例如skimage-measure

【讨论】：

Word2vec 转储单词向量，而对于图像，我们正在查看像素强度。我想计算每张图像中像素强度的 255 维向量（比如 100 万张图像，然后预测图像的相似程度）。概念是一样的，你找到每个像素强度的频率（给出一个向量）。然后计算给定图像的余弦相似度，看看这些图像有多少相似度。
你的意思是你认为顺序像素可以预测可以暗示下一个像素是什么？
是的连续像素或周围像素，就像单词一样。

【解决方案2】：

Word2vec 不是一个很好的图像模型，但我认为你真正需要的是bag of word model。在图像比较的基本方法中，您将图像转换为关键点特征列表（例如 SIFT、SURF 等），然后将点簇相互匹配（例如 FLANN）。

图像中的大量特征和每个点表示的不确定性使得很难使用基本的单层网络学习（例如 word2vec）进行图像识别。您可以在 tutorials 中找到更好的示例。

3 年后更新：我还应该提到 ConvNets 和一些现在可用的预训练模型，您可以从像素中提取视觉特征。

【讨论】：