上下文相关的词嵌入
静态词向量的没个词有一个唯一的向量表示，即使具有多个含义的词也只能有一种表达方式。但是上下文相关的词嵌入可以解决一词多义的问题。比较常见的动态词向量训练方法有elmo、bert等
bert使用的是transformer的encoder，任务是mask语言模型和NSP（预测下一个句子）
bert的fine-tuning训练方式
相关文章：
相似解决方案
热门标签
上下文相关的词嵌入
静态词向量的没个词有一个唯一的向量表示，即使具有多个含义的词也只能有一种表达方式。但是上下文相关的词嵌入可以解决一词多义的问题。比较常见的动态词向量训练方法有elmo、bert等
bert使用的是transformer的encoder，任务是mask语言模型和NSP（预测下一个句子）
bert的fine-tuning训练方式
相关文章：