词向量迁移学习

Question

我想调整已经存在的词向量（例如来自 Spacy）并在一组相当有限的特定领域数据上重新训练它们。问题是我无法找到一种方法来获取已经训练好的向量并使它们适应我的新数据。 到目前为止，我一直在使用 gensim，但它似乎并没有像我预期的那样工作。

以下是我与 gensim 一起使用的代码，但我也将感谢任何使用 gensim 以外的东西的提示。

# illustrative example, I am using data from a textbook for the real application
training_data = [['This', 'is', 'an', 'example'],['for', 'new', 'training', 'data']]  

# build a word2vec model on your dataset
base_model = Word2Vec(size=300, min_count=1)
base_model.build_vocab(training_data)
total_examples = base_model.corpus_count


# add GloVe's vocabulary & weights
base_model.build_vocab([list(glove_vectors.vocab.keys())], update=True)
#base_model.build_vocab([list(glove_vectors.index_to_key)], update=True)

# already trained spacy vectors of dim=300
base_model.intersect_word2vec_format('spacy_vecs.txt', binary=False, lockf=1.0)

# train on your data
print("Running ", base_model.epochs, "iterations")
base_model.train(training_data, total_examples=total_examples, epochs=100,  compute_loss=True, callbacks=[callback()])
base_model_wv = base_model.wv

base_model.wv.save_word2vec_format('retrained_vectors.txt', binary=False)

事后检查词向量不会产生有意义的结果，所以这里一定有问题。

这是在 Python 2.7 中完成的，因为较新的 gensim 版本似乎不再支持此功能。

Answer 1

一方面，您应该能够让.intersect_word2vec_format() 方法在最新的Gensim 中工作，并在open issue 3094 中提到了一些关于其错误的解决方法。

但另一方面，该方法是一种实验性的高级功能，没有很好的使用指南。更一般地说，使用 Gensim 微调现有向量并不是一个得到很好支持的操作。没有标准方法或最佳实践。我从来没有见过一个好的文章来展示一个可靠的方法来做到这一点。 （我见过一堆关于玩具数据的糟糕文章，它们忽略或摆布潜在问题，并且很少深入检查他们正在尝试的方法是否有帮助。）

这需要大量的新研发，并且可能需要对相关的 Gensim 类进行一些添加和重构，以使其成为一个可靠的过程。

因此，我建议不要使用这种方法，除非绝对需要，或者您想要在某个领域进行一些深入的原创实验和开发，并且已经可以研究或直觉所涉及的所有困难权衡。 （即：超出 SO 答案所能提供的范围。）

我怀疑对于几乎所有想要这样做的人来说，最好扩展他们的训练语料库，使用其他使用相似词义的文本内容以及所需的额外词。例如，与其尝试将您的领域词移植到其他人在*上训练的词模型中，不如尝试将您的文本与*文本混合，并训练一个新模型。 （你可能会通过重复它们来增加你有限的文本，随机散布在语料库中。）

这应该会导致一个更直接的过程，更不容易出错或需要新的实验，尽管需要更多的训练时间。