NLP模型小结

NLP 领域发展的三个主要阶段

• 1.Word Embedding
  • Word2Vec
  • GloVe
• 2.使用RNN及改进
  • LSTM/GRU
  • Seq2Seq
  • Attention/Self-Attention
• 3.语义 Word Embedding
  • ELMo
  • OpenAI GPT
  • BERT

深度迁移学习的目的

• 解决 Word Embedding 不足
• 充分利用无标注的数据
• 能够在NLP任务中也用上更深的模型
  设计模型从无标注数据中学习到复杂的上下文表示成为主要方向。