任何两个句子之间的余弦相似度总是给出 0.99

Question

我下载了 stackoverflow 转储（这是一个 10GB 文件）并在转储上运行 word2vec 以获得编程术语的矢量表示（我正在做的项目需要它）。以下是代码：

from gensim.models import Word2Vec
from xml.dom.minidom import parse, parseString

titles, bodies = [], []
xmldoc = parse('test.xml') //this is the dump 
reflist = xmldoc.getElementsByTagName('row')
for i in range(len(reflist)):
    bitref = reflist[i]
    if 'Title' in bitref.attributes.keys():
        title = bitref.attributes['Title'].value
        titles.append([i for i in title.split()])
    if 'Body' in bitref.attributes.keys():
        body = bitref.attributes['Body'].value
        bodies.append([i for i in body.split()])

dimension = 8
sentences = titles + bodies
model = Word2Vec(sentences, size=dimension, iter=100)
model.save('snippet_1.model')

现在，为了计算一对句子之间的余弦相似度，我执行以下操作：

from gensim.models import Word2Vec
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

model = Word2Vec.load('snippet_1.model')
dimension = 8
snippet = 'some text'
snippet_vector = np.zeros((1, dimension))
for word in snippet:
    if word in model.wv.vocab:
        vecvalue = model[word].reshape(1, dimension)
        snippet_vector = np.add(snippet_vector, vecvalue)

link_text = 'some other text'
link_vector = np.zeros((1, dimension))
for word in link_text:
    if word in model.wv.vocab:
        vecvalue = model[word].reshape(1, dimension)
        link_vector = np.add(link_vector, vecvalue)

print(cosine_similarity(snippet_vector, link_vector))

我正在计算句子中每个单词的词嵌入总和，以获得整个句子的一些表示。我对两个句子都这样做，然后计算它们之间的余弦相似度。

现在，问题是我给出的任何一对句子的余弦相似度都在 0.99 左右。有什么我做错了吗？有什么更好的方法建议吗？

Answer 1

在计算它们的余弦相似度之前，您是否检查过您的 snippet_vector 和 link_vector 是有意义的向量？

我怀疑它们只是零向量，或者类似地不多样化，因为您的 for word in snippet: 和 for word in link_text: 循环没有标记文本。因此，它们只会遍历每个字符串中的 characters，这些字符串要么不会作为单词出现在您的模型中，要么可能会在您的文本之间完全匹配。 （即使使用标记化，文本的向量总和也只会因一个不同单词的向量值而有所不同，'other'。）