[Word2Vec][gensim] 使用参数 min_count 处理词汇表中的缺失词

Question

有人就这个话题提出了一些类似的问题，但我对到目前为止的回复并不满意；请先原谅我。

我正在使用python库gensim中的函数Word2Vec。

我的问题是，只要我将参数min_count 设置为大于一，我就无法在我的语料库的每个单词上运行我的模型。有人会说这是合乎逻辑的，因为我选择忽略只出现一次的单词。但是这个函数的行为很奇怪，因为它给出了一个错误，说单词'blabla'不在词汇表中，而这正是我想要的（我想要这个词词汇表之外）。

我可以想象这不是很清楚，然后在下面找到一个可重现的示例：

import gensim
from gensim.models import Word2Vec

# My corpus
corpus=[["paris","not","great","city"],
       ["praha","better","great","than","paris"],
       ["praha","not","country"]]

# Load a pre-trained model - The orignal one based on google news 
model_google = gensim.models.KeyedVectors.load_word2vec_format(r'GoogleNews-vectors-negative300.bin', binary=True)

# Initializing our model and upgrading it with Google's 
my_model = Word2Vec(size=300, min_count=2)#with min_count=1, everything works fine
my_model.build_vocab(corpus)
total_examples = my_model.corpus_count
my_model.build_vocab([list(model_google.vocab.keys())], update=True)
my_model.intersect_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True, lockf=1.0)
my_model.train(corpus, total_examples=total_examples, epochs=my_model.iter)

# Show examples
print(my_model['paris'][0:10])#works cause 'paris' is present twice
print(my_model['country'][0:10])#does not work cause 'country' appears only once

例如，您可以找到 Google 的模型 there，但您可以随意使用任何模型或干脆不用，这不是我帖子的重点。

如代码注释中所述：在“paris”上运行模型有效，但在“country”上无效。当然，如果我将参数min_count 设置为1，一切正常。

我希望它足够清楚。

谢谢。

Answer 1

如果您要求一个不存在的单词，它应该会引发错误，因为您选择不学习稀有单词的向量，例如您的示例中的'country'。 （而且：这些例子很少的词通常不会得到好的向量，并且保留它们会使剩余词的向量恶化，所以min_count 尽可能大，并且可能比1 大得多，通常是好主意。）

解决方法是执行以下操作之一：

1. 不要询问不存在的词。首先通过 Python 的 in 运算符进行检查。例如：

if 'country' in my_model:
    print(my_model['country'][0:10])
else: 
    pass  # do nothing, since `min_count=2` means there's no 'country' vector

1. 抓住错误，回退到你想要发生的任何事情：

try:
    print(my_model['country'][0:10])
except:
    pass  # do nothing, or perhaps print an error, whatever

1. 更改为使用始终为任何单词返回某些内容的模型，例如 FastText - 它将尝试使用在训练期间学习的子单词为未知单词合成一个向量。 （这可能是垃圾，如果未知词在字符和含义上与已知词高度相似可能会很好，但对于某些用途来说，它总比没有好。）