结合多注意力机制的卷积神经网络

卷积神经网络能够接收平行输入的文本信息

加入词性注意力机制,能从多种特征信息关注句子的目标词和其他词语之间的联系,准确表示出每一个词在句子中的重要程度。

主要涉及到三种注意力机制(1)词向量注意力机制(2)词性注意力机制(3)位置注意力机制

使用双向扫描算法,标识不同词语在句子中的重要程度

《基于多注意力卷积神经网络的特定目标情感分析》论文阅读笔记

(1)词向量注意力机制,是目标词的词向量和句子的词向量进行运算得到词向量注意力矩阵,这个矩阵会有一个系数,当词向量注意力矩阵确定后,再将它与句子向量进行运算得到卷积神经网路的输入矩阵

(2)词性注意力机制  将词性映射为词性向量,提取目标词的词性向量作为词性注意力特征矩阵

(3)位置注意力机制 距离近的影响更大,将位置取值映射为多维向量

 

三种注意力得到的矩阵如何作为CNN的输入呢?有以下几种方法

(1)将三个矩阵利用不用的系数相加

(2)在权重矩阵的控制下将三个矩阵进行拼接

(3)堆叠成为3维的张量

 

 

相关文章:

  • 2021-10-22
  • 2021-07-07
  • 2021-08-30
  • 2022-01-02
  • 2021-10-16
  • 2021-10-23
  • 2021-04-22
猜你喜欢
  • 2022-01-18
  • 2021-06-20
  • 2021-11-27
  • 2021-09-10
  • 2022-01-05
  • 2021-06-11
  • 2021-11-07
相关资源
相似解决方案