Word2Vec - 为向量表示添加约束

Question

我正在尝试将预训练的 Google 新闻 word2vec 模型调整到我的特定领域。对于我正在研究的领域，已知某些单词彼此相似，因此在理想世界中，这些单词的 Word2Vec 表示应该代表这一点。我知道我可以在特定领域数据的语料库上训练预训练模型来更新向量。

但是，如果我确定某些单词高度相似并且应该放在一起，我有没有办法将该约束合并到 word2vec 模型中？从数学上讲，我想在 word2vec 的损失函数中添加一个术语，如果我知道相似的两个在向量空间中没有彼此靠近，则会提供惩罚。有人对如何实施这个有建议吗？这是否需要我解压缩 word2vec 模型，或者有没有办法让我有可能将该附加项添加到损失函数中？

Answer 1

一种方法是采用预先训练的 Google 新闻 word2vec 并使用这个“改造”工具：

Faruqui、Manaal、Jesse Dodge、Sujay K. Jauhar、Chris Dyer、Eduard Hovy 和 Noah A. Smith。 “将词向量改造为语义词典。” arXiv 预印本 arXiv:1411.4166 (2014)。 https://arxiv.org/abs/1411.4166

本文提出了一种使用语义词典中的关系信息来细化向量空间表示的方法，该方法通过鼓励链接词具有相似的向量表示，并且不对输入向量的构造方式做出任何假设。

代码可在https://github.com/mfaruqui/retrofitting 获得，使用起来很简单（我个人将其用于https://arxiv.org/abs/1607.02802）。