Stanford 深度自然语言处理 学习笔记(十)

 

注意力机制

为各隐层节点分配不同的注意力(权重)。可按需访问隐层状态。

利用注意力模型在源和目标之间建立隐式的关联。可以看成一种对齐。

打分函数————>分数—softmax—>权重。加权和就是上下文向量。

Stanford 深度自然语言处理 学习笔记(十)

用到了编码器的全部隐层状态信息。不同时刻分配的权重不同。

Stanford 深度自然语言处理 学习笔记(十)

第二种方法使ht和hs形成更复杂的交互。第三种方法使用单层神经网络,ht和hs没有交互。

Stanford 深度自然语言处理 学习笔记(十)

 

coverage机制

相关文章:

  • 2021-12-04
  • 2021-12-04
  • 2021-07-14
  • 2021-09-28
  • 2021-04-02
  • 2021-12-04
  • 2021-04-14
  • 2021-09-05
猜你喜欢
  • 2021-08-25
  • 2021-04-19
  • 2021-07-01
  • 2021-06-18
  • 2021-09-18
  • 2021-09-29
  • 2022-01-22
相关资源
相似解决方案