word2vec - 什么是最好的？添加、连接或平均词向量？

Question

我正在研究循环语言模型。为了学习可用于初始化我的语言模型的词嵌入，我使用了 gensim 的 word2vec 模型。 训练后，word2vec 模型为词汇表中的每个单词保存两个向量：单词嵌入（输入/隐藏矩阵的行）和上下文嵌入（隐藏/输出矩阵的列）。

正如this post 中所述，至少有三种常用方法可以组合这两个嵌入向量：

1. 对每个词的上下文和词向量求和
2. 求和和平均
3. 连接上下文和词向量

但是，我找不到有关最佳策略的适当论文或报告。所以我的问题是：

1. 是否存在对向量求和、平均或连接的通用解决方案？
2. 或者最好的方法是否完全取决于相关任务？如果是，哪种策略最适合词级语言模型？
3. 为什么要结合向量呢？为什么不对每个词使用“原始”词嵌入，即包含在输入和隐藏神经元之间的权重矩阵中的词嵌入。

相关（但未回答）的问题：

• word2vec: Summing/concatenate inside and outside vector
• why we use input-hidden weight matrix to be the word vectors instead of hidden-output weight matrix?

Answer 1

我在斯坦福讲座“自然语言处理的深度学习”（Lecture 2，2016 年 3 月）中找到了答案。它可用here。在第 46 分钟，Richard Socher 指出，常用的方法是平均两个词向量。

Answer 2

您应该至少阅读一次this 研究工作，以了解使用不同代数运算符组合词嵌入的整个想法。这是我的研究。

在这篇论文中你还可以看到其他组合词向量的方法。

简而言之，L1-Normalized 平均词向量和词总和是很好的表示。

Answer 3

我不知道有什么工作可以经验性地测试组合两个向量的不同方式，但是有一篇非常有影响力的论文比较了：1）只使用词向量，2）将词和上下文向量相加。论文在这里：https://www.aclweb.org/anthology/Q15-1016/。

首先，请注意该指标是类比和相似性测试，而不是下游任务。

这是论文的引述：

对于 SGNS 和 GloVe，值得尝试使用 w + c 变体 [加起来单词和上下文向量]，这很便宜 申请（不需要再培训）并可能导致 可观的收益（以及可观的损失）。

所以我猜你只需要在你的特定任务上尝试一下。

顺便说一下，这里有一篇关于如何从 gensim 中获取上下文向量的帖子：link

Answer 4

我以为我试图根据 cmets 来回答。

您要链接的问题是：“WordVectors How to concatenate word vectors to form sentence vector”

词向量可以单独进行比较。但通常人们想将句子、段落或文档放在上下文中——即单词的集合。然后问题就出现了如何将它们组合成一个向量（gensim 为该用例提供了 doc2vec）。

这似乎不适用于您的情况，我只会使用给定的词向量。您可以调整参数，例如嵌入的大小、训练数据和其他算法。您甚至可以组合来自不同算法的向量来创建一种“集成向量”（例如带有 GloVe 的 word2vec）。但它可能不会更有效。

有时在语言中，同一个词具有不同的含义，具体取决于句子中词的类型或词的组合。例如“游戏”与“公平游戏”有不同的含义。 Sense2Vec 提供了为这些复合词生成词向量的建议：https://explosion.ai/blog/sense2vec-with-spacy （当然，这种情况下你已经需要理解句子结构的东西了，比如SpaCy）