分层注意网络HAN介绍

背景

HAN是微软提出的一个网络，试图从句子的单词，文档的句子分层次构建网络。

1 模型

1.1 GRU序列编码

GRU两个门，重置门$r_t$rt​和更新门$z_t$zt​，一起控制信息的流动。

1.2 层次注意力机制
1.2.1 词编码与解码

编码过程

词的注意力机制：

1.2.2句子的编码与注意力机制
句子编码也是GRU，并且应用注意力机制。

2. 实践

参看链接2。

3. 总结

方法比较简单易懂，注意力机制也是谷歌提出后比较火的方法，双向GRU也是常见循环神经网络。

---

reference:
1.原论文;
2.HAN应用博文