动手学深度学习——循环神经网络

循环神经网络

循环神经网络（RNN）主要用于预测任务：基于当前和历史输入序列，预测序列的下一个字符。循环神经网络相对于普通神经网络而言，最大的特点在于颖仓变量$H$H的引进，用$H_{t}$Ht​表示$H$H在时间步$t$t的值，该变量记录了到当前字符为止的序列信息。历史信息的使用使得预测更为精确。循环神经网络的示意图：

循环神经网络模型

假设$\boldsymbol{X_{t} \in \mathbb{R}^{n \times d}}$Xt​∈Rn×d是时间步$t$t的小批量输入，$\boldsymbol{H_{t} \in \mathbb{R}^{n \times h}}$Ht​∈Rn×h是该时间步的隐藏变量，则：
$\boldsymbol{H_{t}}=\Phi(\boldsymbol{X_{t}}\boldsymbol{W_{xh}}+\boldsymbol{H_{t-1}}\boldsymbol{W_{hh}}+\boldsymbol{b_{h}})$Ht​=Φ(Xt​Wxh​+Ht−1​Whh​+bh​)

其中$\boldsymbol{W_{xh} \in \mathbb{R}^{d \times h}}$Wxh​∈Rd×h，$\boldsymbol{W_{hh} \in \mathbb{R}^{h \times h}}$Whh​∈Rh×h，$\boldsymbol{b_{h} \in \mathbb{R}^{1 \times h}}$bh​∈R1×h，$\Phi$Φ函数是非线性**函数。由于引入了$\boldsymbol{H_{t-1}}\boldsymbol{W_{hh}}$Ht−1​Whh​，$\boldsymbol{H_{t}}$Ht​能够捕捉截至当前时间步的序列的历史信息，就像是神经网络当前时间步的状态或记忆一样。循环神经网络的展开式示意图如下所示：

在时间步，输出层的输出为：
$\boldsymbol{O_{t}}=\boldsymbol{H_{t}}\boldsymbol{W_{hq}}+\boldsymbol{b_{q}}$Ot​=Ht​Whq​+bq​

其中$\boldsymbol{W_{hq} \in \mathbb{R}^{d \times h}}$Whq​∈Rd×h，$\boldsymbol{b_{q} \in \mathbb{R}^{1 \times q}}$bq​∈R1×q。

注：上述来源于伯禹学习平台的《动手学深度学习》的学习笔记