gensim word2vec中most_similar和similar_by_vector之间的区别？答案

【问题标题】：Difference between most_similar and similar_by_vector in gensim word2vec?gensim word2vec中most_similar和similar_by_vector之间的区别？
【发布时间】：2018-05-10 14:44:57
【问题描述】：

我对 gensim 的 Word2vecKeyedVectors 中 most_similar 和similar_by_vector 的结果感到困惑。他们应该以相同的方式计算余弦相似度 - 但是：

用一个词运行它们会得到相同的结果，例如： model.most_similar(['obama']) 和similar_by_vector(model['obama'])

但如果我给它一个等式：

model.most_similar(positive=['king', 'woman'], negative=['man'])

给予：

[('queen', 0.7515910863876343), ('monarch', 0.6741327047348022), ('princess', 0.6713887453079224), ('kings', 0.6698989868164062), ('kingdom', 0.5971318483352661), ('royal', 0.5921063423156738), ('uncrowned', 0.5911505818367004), ('prince', 0.5909028053283691), ('lady', 0.5904011130332947), ('monarchs', 0.5884358286857605)]

同时：

q = model['king'] - model['man'] + model['woman']
model.similar_by_vector(q)

给予：

[('king', 0.8655095100402832), ('queen', 0.7673765420913696), ('monarch', 0.695580005645752), ('kings', 0.6929547786712646), ('princess', 0.6909604668617249), ('woman', 0.6528975963592529), ('lady', 0.6286187767982483), ('prince', 0.6222133636474609), ('kingdom', 0.6208546161651611), ('royal', 0.6090123653411865)]

queen、monarch...等单词的余弦距离有明显差异。我想知道为什么？

谢谢！

【问题讨论】：

标签： nlp word2vec gensim

【解决方案1】：

most_similar 相似函数检索与"king"、"woman" 和"man" 对应的向量，并在计算king - man + woman 之前对它们进行归一化 (source code: use_norm=True) .

函数调用model.similar_by_vector(v) 只是调用model.most_similar(positive=[v])。所以差异是由于most_similar 的行为取决于输入的类型（字符串或向量）。

最后，当most_similar 有字符串输入时，它会从输出中删除单词（这就是结果中没有出现“king”的原因）。

一段代码看看区别：

>>> un = False
>>> v = model.word_vec("king", use_norm=un) + model.word_vec("woman", use_norm=un) - model.word_vec("man", use_norm=un)
>>> un = True
>>> v2 = model.word_vec("king", use_norm=un) + model.word_vec("woman", use_norm=un) - model.word_vec("man", use_norm=un)
>>> model.most_similar(positive=[v], topn=6)
[('king', 0.8449392318725586), ('queen', 0.7300517559051514), ('monarch', 0.6454660892486572), ('princess', 0.6156251430511475), ('crown_prince', 0.5818676948547363), ('prince', 0.5777117609977722)]
>>> model.most_similar(positive=[v2], topn=6)
[('king', 0.7992597222328186), ('queen', 0.7118192911148071), ('monarch', 0.6189674139022827), ('princess', 0.5902431011199951), ('crown_prince', 0.5499460697174072), ('prince', 0.5377321243286133)]
>>> model.most_similar(positive=["king", "woman"], negative=["man"], topn=6)
[('queen', 0.7118192911148071), ('monarch', 0.6189674139022827), ('princess', 0.5902431011199951), ('crown_prince', 0.5499460697174072), ('prince', 0.5377321243286133), ('kings', 0.5236844420433044)]

【讨论】：