三图解万言!!!

模型图:
transformer模型核心图解

transformer模型核心图解

动画:

transformer模型核心图解
首先输入源语:“I arrived at the ”
第一层 self-attention
然后第二层 self-attention,输入是上一层attention的结果
然后第三层 self-attention,输入是上一层的attention结果。
这样 见过三次多头attention后,得到输入句子的句法树。
完了Decoder是< start> 开始,拿它与encoder最后的输出进行attention,经过多次的attention得到输出。
第二个输出时,会把decoder上一步的输出也拿来一起attention.

相关文章:

  • 2021-12-01
  • 2022-01-17
  • 2021-04-24
  • 2021-05-20
  • 2021-11-29
  • 2022-12-23
猜你喜欢
  • 2021-12-25
  • 2021-07-01
  • 2021-09-06
  • 2021-10-21
  • 2022-12-23
相关资源
相似解决方案