NLPTask6 新闻⽂文本分类_基于深度学习3

了解Transformer的原理和基于预训练语言模型（Bert）的词表示
学会Bert的使用，具体包括pretrain和finetune

Transformer为什么需要？
1.结构化数据挖掘中，大多无序无局部信息

左边encoding 右边decoding

2.bert是一个预训练语言模型，bert是一个考虑上下文（双向）的模型，为了适配多任务下的迁移学习，BERT设计了更通用的输入层和输出层,学习阶段如下：

本次NLP训练营有些遗憾，特别是对知识的理解。