Datawhale零基础入门NLP赛事-Task6
本笔记是参加Datawhale零基础入门NLP赛事的学习笔记。
Transformer
Transformer是在"Attention is All You Need"中提出的，模型的编码部分是一组编码器的堆叠（论文中依次堆叠六个编码器），模型的解码部分是由相同数量的解码器的堆叠。
Bert模型
BERT模型结构如下图所示，它是一个基于Transformer的多层Encoder，通过执行一系列预训练，进而得到深层的上下文表示。
基于Bert的文本分类
源码
Bert Pretrain
（TBD）
Bert Finetune
（TBD）