word2vec的余弦相似度大于1

Question

我使用 spark 的 word2vec 算法来计算文本的文档向量。

然后我使用模型对象的findSynonyms 函数来获取几个单词的同义词。

我看到这样的东西：

w2vmodel.findSynonyms('science',4).show(5)
+------------+------------------+
|        word|        similarity|
+------------+------------------+
|     physics| 1.714908638833209|
|     fiction|1.5189824643358183|
|neuroscience|1.4968051528391833|
|  psychology| 1.458865636374223|
+------------+------------------+

我不明白为什么余弦相似度被计算为大于 1。余弦相似度应该在 0 到 1 或最大 -1 到 +1 之间（取负角）。

为什么这里大于 1？这里出了什么问题？

Answer 1

您应该对从word2vec 获得的词向量进行归一化，否则您将获得无限的点积或余弦相似度值。

来自Levy et al., 2015（实际上，大部分关于词嵌入的文献）：

向量在用于相似度计算之前被归一化为单位长度，使余弦相似度和点积等效。

如何进行归一化？

您可以执行以下操作。

import numpy as np

def normalize(word_vec):
    norm=np.linalg.norm(word_vec)
    if norm == 0: 
       return word_vec
    return word_vec/norm

参考文献

• Should I do normalization to word embeddings from word2vec if I want to do semantic tasks?
• Should I normalize word2vec's word vectors before using them?

更新：为什么 word2vec 的余弦相似度大于 1？

根据answer，在 word2vec 的 spark 实现中，findSynonyms 实际上并不返回余弦距离，而是余弦距离乘以查询向量的范数。

排序和相对值与真实余弦距离一致，但实际值都是按比例缩放的。