【发布时间】:2020-06-28 10:46:37
【问题描述】:
有一些嵌入模型使用 Sentencepiece 模型进行标记化。因此,他们为不在词汇表中的未知单词提供子词向量。但我想为每个单词获取单词向量,例如 Word2vec、fastText。 我应该平均子词向量来表示一个词向量吗?
【问题讨论】:
-
你为什么对那些词向量感兴趣?如果我们知道您最终想要做什么,这有助于回答您的问题。您可以相应地编辑您的问题吗?
标签: nlp word-embedding