如何组合从不同算法（如 Word2vec、GLOVE、BERT）生成的不同嵌入？答案

【问题标题】：How to combine different embedding's generated from different algorithms like from Word2vec, GLOVE , BERT?如何组合从不同算法（如 Word2vec、GLOVE、BERT）生成的不同嵌入？
【发布时间】：2021-04-05 12:22:59
【问题描述】：

我想知道将我从不同算法（如 word2vec、GLOVE 或 BERT）生成的不同嵌入结合起来生成最终嵌入的最佳方法。

【问题讨论】：

标签： stanford-nlp word2vec word-embedding bert-language-model

【解决方案1】：

组合来自多种生成方法的向量的一种简单方法是将它们连接起来。也就是说，如果您有一个来自一种方法的词 'apple' 的 300 维向量，以及来自另一种方法的该词的另一个 300 维向量，则将两者连接成一个 600 维向量。

但是，你为什么要这样做？你确定这会有所帮助吗？在将其作为常规做法之前，您绝对应该在小试验中测试这些额外步骤是否值得复杂化。

例如，Word2vec 和 Glove 在它们的模型上非常相似 - 您可能会发现花更多时间将一种方法调整为更大的向量比尝试混合在一起更简单、同样好或更好。

【讨论】：

基本上，Word2vec 朝着 Doc2vec 发展，我实际上是在使用它来生成句子级别的嵌入。所以我的目标是从上述算法中找出每个句子的更好嵌入。例如 sent1：我喜欢苹果， Sent2：苹果对您的健康非常有益。因此每个算法都根据其性质生成其句子级嵌入。我真正想要从这些算法中找出最好的嵌入。就像 sent1 doc2vec 从所有其他算法中产生最好的嵌入一样。
因此我选择了嵌入，并且对于 sent2 手套给出了最好的结果并获得了嵌入。最后，得到最终的最佳嵌入矩阵，进一步用于聚类目的，将同一种句子分组到特定的簇中。