【发布时间】：2021-01-04 16:09:12
【问题描述】：
ELMo、BERT 和 GloVe 在单词表示上有什么区别？他们在执行词嵌入任务方面有何不同？与其他相比，哪个更好，各有什么优缺点？
【问题讨论】：
标签： stanford-nlp word-embedding bert-language-model elmo
【发布时间】：2021-01-04 16:09:12
【问题描述】：
这是一个大问题。
我将专注于文字表示。
ELMo、BERT 和 GloVe 可以分为两大类。 GloVe 是非上下文词嵌入，ElMo、BERT 属于上下文词嵌入。
而第二组又可以分为单向模型（ELMo）和双向模型（BERT)。
首先，我们可以尝试理解 4 个术语：Non-contextual/Contextual Word Embedding 和 Uni/Bi-directional model。
之后，我们可以更深入地了解其他差异。
【讨论】：