软注意力机制关注于区域或者通道,软注意是确定性注意力,是可微的,能够通过训练得到注意力权重。
【深度学习笔记】注意力机制

reshape过程:
theta:view+permute
【深度学习笔记】注意力机制

phi:view
【深度学习笔记】注意力机制

g:view+permute
【深度学习笔记】注意力机制
矩阵乘法:
f = torch.matmul(theta, phi)
【深度学习笔记】注意力机制

相关文章:

  • 2022-01-09
  • 2021-12-16
  • 2022-12-23
  • 2021-04-25
猜你喜欢
  • 2021-06-18
  • 2021-10-21
  • 2022-12-23
  • 2021-12-01
  • 2022-01-16
  • 2021-04-28
  • 2021-08-16
相关资源
相似解决方案