动手深度学习-task01

1.线性回归的pytorch实现
1.1矢量的两种计算方法效率比较
1.1.1将这两个向量按元素逐一做标量加法
1.1.2将两个向量直接相加


测试结果：

结果很明显，后者的运算速度更加快，用矢量运算效率是直接相加法的50.3倍

2.softmax回归介绍：

softmax的基本概念

• 分类问题
  一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。
  图像中的4像素分别记为$x_1, x_2, x_3, x_4$x1​,x2​,x3​,x4​。
  假设真实标签为狗、猫或者鸡，这些标签对应的离散值为$y_1, y_2, y_3$y1​,y2​,y3​。
  我们通常使用离散的数值来表示类别，例如$y_1=1, y_2=2, y_3=3$y1​=1,y2​=2,y3​=3。

• 权重矢量
  $\begin{aligned} o_1 &= x_1 w_{11} + x_2 w_{21} + x_3 w_{31} + x_4 w_{41} + b_1 \end{aligned}$o1​​=x1​w11​+x2​w21​+x3​w31​+x4​w41​+b1​​

$\begin{aligned} o_2 &= x_1 w_{12} + x_2 w_{22} + x_3 w_{32} + x_4 w_{42} + b_2 \end{aligned}$o2​​=x1​w12​+x2​w22​+x3​w32​+x4​w42​+b2​​

$\begin{aligned} o_3 &= x_1 w_{13} + x_2 w_{23} + x_3 w_{33} + x_4 w_{43} + b_3 \end{aligned}$o3​​=x1​w13​+x2​w23​+x3​w33​+x4​w43​+b3​​

• 神经网络图
  下图用神经网络图描绘了上面的计算。softmax回归同线性回归一样，也是一个单层神经网络。由于每个输出$o_1, o_2, o_3$o1​,o2​,o3​的计算都要依赖于所有的输入$x_1, x_2, x_3, x_4$x1​,x2​,x3​,x4​，softmax回归的输出层也是一个全连接层。

$\begin{aligned}softmax回归是一个单层神经网络\end{aligned}$softmax回归是一个单层神经网络​

既然分类问题需要得到离散的预测输出，一个简单的办法是将输出值$o_i$oi​当作预测类别是$i$i的置信度，并将值最大的输出所对应的类作为预测输出，即输出 $\underset{i}{\arg\max} o_i$iargmax​oi​。例如，如果$o_1,o_2,o_3$o1​,o2​,o3​分别为$0.1,10,0.1$0.1,10,0.1，由于$o_2$o2​最大，那么预测类别为2，其代表猫。

• 输出问题
  直接使用输出层的输出有两个问题：
  1. 一方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。例如，刚才举的例子中的输出值10表示“很置信”图像类别为猫，因为该输出值是其他两类的输出值的100倍。但如果$o_1=o_3=10^3$o1​=o3​=103，那么输出值10却又表示图像类别为猫的概率很低。
  2. 另一方面，由于真实标签是离散值，这些离散值与不确定范围的输出值之间的误差难以衡量。

softmax运算符（softmax operator）解决了以上两个问题。它通过下式将输出值变换成值为正且和为1的概率分布：

$\hat{y}_1, \hat{y}_2, \hat{y}_3 = \text{softmax}(o_1, o_2, o_3)$y^​1​,y^​2​,y^​3​=softmax(o1​,o2​,o3​)

其中

$\hat{y}1 = \frac{ \exp(o_1)}{\sum_{i=1}^3 \exp(o_i)},\quad \hat{y}2 = \frac{ \exp(o_2)}{\sum_{i=1}^3 \exp(o_i)},\quad \hat{y}3 = \frac{ \exp(o_3)}{\sum_{i=1}^3 \exp(o_i)}.$y^​1=∑i=13​exp(oi​)exp(o1​)​,y^​2=∑i=13​exp(oi​)exp(o2​)​,y^​3=∑i=13​exp(oi​)exp(o3​)​.

容易看出$\hat{y}_1 + \hat{y}_2 + \hat{y}_3 = 1$y^​1​+y^​2​+y^​3​=1且$0 \leq \hat{y}_1, \hat{y}_2, \hat{y}_3 \leq 1$0≤y^​1​,y^​2​,y^​3​≤1，因此$\hat{y}_1, \hat{y}_2, \hat{y}_3$y^​1​,y^​2​,y^​3​是一个合法的概率分布。这时候，如果$\hat{y}_2=0.8$y^​2​=0.8，不管$\hat{y}_1$y^​1​和$\hat{y}_3$y^​3​的值是多少，我们都知道图像类别为猫的概率是80%。此外，我们注意到

$\underset{i}{\arg\max} o_i = \underset{i}{\arg\max} \hat{y}_i$iargmax​oi​=iargmax​y^​i​

因此softmax运算不改变预测类别输出。

• 计算效率
  • 单样本矢量计算表达式
    为了提高计算效率，我们可以将单样本分类通过矢量计算来表达。在上面的图像分类问题中，假设softmax回归的权重和偏差参数分别为

$\boldsymbol{W} = \begin{bmatrix} w_{11} & w_{12} & w_{13} \\ w_{21} & w_{22} & w_{23} \\ w_{31} & w_{32} & w_{33} \\ w_{41} & w_{42} & w_{43} \end{bmatrix},\quad \boldsymbol{b} = \begin{bmatrix} b_1 & b_2 & b_3 \end{bmatrix},$W=⎣⎢⎢⎡​w11​w21​w31​w41​​w12​w22​w32​w42​​w13​w23​w33​w43​​⎦⎥⎥⎤​,b=[b1​​b2​​b3​​],

设高和宽分别为2个像素的图像样本$i$i的特征为

$\boldsymbol{x}^{(i)} = \begin{bmatrix}x_1^{(i)} & x_2^{(i)} & x_3^{(i)} & x_4^{(i)}\end{bmatrix},$x(i)=[x1(i)​​x2(i)​​x3(i)​​x4(i)​​],

输出层的输出为

$\boldsymbol{o}^{(i)} = \begin{bmatrix}o_1^{(i)} & o_2^{(i)} & o_3^{(i)}\end{bmatrix},$o(i)=[o1(i)​​o2(i)​​o3(i)​​],

预测为狗、猫或鸡的概率分布为

$\boldsymbol{\hat{y}}^{(i)} = \begin{bmatrix}\hat{y}_1^{(i)} & \hat{y}_2^{(i)} & \hat{y}_3^{(i)}\end{bmatrix}.$y^​(i)=[y^​1(i)​​y^​2(i)​​y^​3(i)​​].

softmax回归对样本$i$i分类的矢量计算表达式为

$\begin{aligned} \boldsymbol{o}^{(i)} &= \boldsymbol{x}^{(i)} \boldsymbol{W} + \boldsymbol{b},\\ \boldsymbol{\hat{y}}^{(i)} &= \text{softmax}(\boldsymbol{o}^{(i)}). \end{aligned}$o(i)y^​(i)​=x(i)W+b,=softmax(o(i)).​

• 小批量矢量计算表达式
  为了进一步提升计算效率，我们通常对小批量数据做矢量计算。广义上讲，给定一个小批量样本，其批量大小为$n$n，输入个数（特征数）为$d$d，输出个数（类别数）为$q$q。设批量特征为$\boldsymbol{X} \in \mathbb{R}^{n \times d}$X∈Rn×d。假设softmax回归的权重和偏差参数分别为$\boldsymbol{W} \in \mathbb{R}^{d \times q}$W∈Rd×q和$\boldsymbol{b} \in \mathbb{R}^{1 \times q}$b∈R1×q。softmax回归的矢量计算表达式为

$\begin{aligned} \boldsymbol{O} &= \boldsymbol{X} \boldsymbol{W} + \boldsymbol{b},\\ \boldsymbol{\hat{Y}} &= \text{softmax}(\boldsymbol{O}), \end{aligned}$OY^​=XW+b,=softmax(O),​

其中的加法运算使用了广播机制，$\boldsymbol{O}, \boldsymbol{\hat{Y}} \in \mathbb{R}^{n \times q}$O,Y^∈Rn×q且这两个矩阵的第$i$i行分别为样本$i$i的输出$\boldsymbol{o}^{(i)}$o(i)和概率分布$\boldsymbol{\hat{y}}^{(i)}$y^​(i)。

交叉熵损失函数

对于样本$i$i，我们构造向量$\boldsymbol{y}^{(i)}\in \mathbb{R}^{q}$y(i)∈Rq ，使其第$y^{(i)}$y(i)（样本$i$i类别的离散数值）个元素为1，其余为0。这样我们的训练目标可以设为使预测概率分布$\boldsymbol{\hat y}^{(i)}$y^​(i)尽可能接近真实的标签概率分布$\boldsymbol{y}^{(i)}$y(i)。

• 平方损失估计

$\begin{aligned}Loss = |\boldsymbol{\hat y}^{(i)}-\boldsymbol{y}^{(i)}|^2/2\end{aligned}$Loss=∣y^​(i)−y(i)∣2/2​

然而，想要预测分类结果正确，我们其实并不需要预测概率完全等于标签概率。例如，在图像分类的例子里，如果$y^{(i)}=3$y(i)=3，那么我们只需要$\hat{y}^{(i)}_3$y^​3(i)​比其他两个预测值$\hat{y}^{(i)}_1$y^​1(i)​和$\hat{y}^{(i)}_2$y^​2(i)​大就行了。即使$\hat{y}^{(i)}_3$y^​3(i)​值为0.6，不管其他两个预测值为多少，类别预测均正确。而平方损失则过于严格，例如$\hat y^{(i)}_1=\hat y^{(i)}_2=0.2$y^​1(i)​=y^​2(i)​=0.2比$\hat y^{(i)}_1=0, \hat y^{(i)}_2=0.4$y^​1(i)​=0,y^​2(i)​=0.4的损失要小很多，虽然两者都有同样正确的分类预测结果。

改善上述问题的一个方法是使用更适合衡量两个概率分布差异的测量函数。其中，交叉熵（cross entropy）是一个常用的衡量方法：

$H\left(\boldsymbol y^{(i)}, \boldsymbol {\hat y}^{(i)}\right ) = -\sum_{j=1}^q y_j^{(i)} \log \hat y_j^{(i)},$H(y(i),y^​(i))=−j=1∑q​yj(i)​logy^​j(i)​,

其中带下标的$y_j^{(i)}$yj(i)​是向量$\boldsymbol y^{(i)}$y(i)中非0即1的元素，需要注意将它与样本$i$i类别的离散数值，即不带下标的$y^{(i)}$y(i)区分。在上式中，我们知道向量$\boldsymbol y^{(i)}$y(i)中只有第$y^{(i)}$y(i)个元素$y^{(i)}{y^{(i)}}$y(i)y(i)为1，其余全为0，于是$H(\boldsymbol y^{(i)}, \boldsymbol {\hat y}^{(i)}) = -\log \hat y_{y^{(i)}}^{(i)}$H(y(i),y^​(i))=−logy^​y(i)(i)​。也就是说，交叉熵只关心对正确类别的预测概率，因为只要其值足够大，就可以确保分类结果正确。当然，遇到一个样本有多个标签时，例如图像里含有不止一个物体时，我们并不能做这一步简化。但即便对于这种情况，交叉熵同样只关心对图像中出现的物体类别的预测概率。

假设训练数据集的样本数为$n$n，交叉熵损失函数定义为
$\ell(\boldsymbol{\Theta}) = \frac{1}{n} \sum_{i=1}^n H\left(\boldsymbol y^{(i)}, \boldsymbol {\hat y}^{(i)}\right ),$ℓ(Θ)=n1​i=1∑n​H(y(i),y^​(i)),

其中$\boldsymbol{\Theta}$Θ代表模型参数。同样地，如果每个样本只有一个标签，那么交叉熵损失可以简写成$\ell(\boldsymbol{\Theta}) = -(1/n) \sum_{i=1}^n \log \hat y_{y^{(i)}}^{(i)}$ℓ(Θ)=−(1/n)∑i=1n​logy^​y(i)(i)​。从另一个角度来看，我们知道最小化$\ell(\boldsymbol{\Theta})$ℓ(Θ)等价于最大化$\exp(-n\ell(\boldsymbol{\Theta}))=\prod_{i=1}^n \hat y_{y^{(i)}}^{(i)}$exp(−nℓ(Θ))=∏i=1n​y^​y(i)(i)​，即最小化交叉熵损失函数等价于最大化训练数据集所有标签类别的联合预测概率。
交叉熵损失函数的意义：
衡量真实分布和预测的分布的差异情况
离散形式为：

其中，p(x)为真实概率，q(x)为预测概率
从信息量的角度，如果是真是真实的概率，那么给到我们的信息熵为：

如果是预测分布，改到我们信息熵(可以简单理解为信息量)为：

信息熵的差异为：

这也叫：K-L散度

可以看出，只有当q(x)=p(x)时候差异为：0

K-L散度始终是>=0

多层感知机的基本知识

深度学习主要关注多层模型。在这里，我们将以多层感知机（multilayer perceptron，MLP）为例，介绍多层神经网络的概念。

隐藏层

下图展示了一个多层感知机的神经网络图，它含有一个隐藏层，该层中有5个隐藏单元。

表达公式

具体来说，给定一个小批量样本$\boldsymbol{X} \in \mathbb{R}^{n \times d}$X∈Rn×d，其批量大小为$n$n，输入个数为$d$d。假设多层感知机只有一个隐藏层，其中隐藏单元个数为$h$h。记隐藏层的输出（也称为隐藏层变量或隐藏变量）为$\boldsymbol{H}$H，有$\boldsymbol{H} \in \mathbb{R}^{n \times h}$H∈Rn×h。因为隐藏层和输出层均是全连接层，可以设隐藏层的权重参数和偏差参数分别为$\boldsymbol{W}_h \in \mathbb{R}^{d \times h}$Wh​∈Rd×h和 $\boldsymbol{b}_h \in \mathbb{R}^{1 \times h}$bh​∈R1×h，输出层的权重和偏差参数分别为$\boldsymbol{W}_o \in \mathbb{R}^{h \times q}$Wo​∈Rh×q和$\boldsymbol{b}_o \in \mathbb{R}^{1 \times q}$bo​∈R1×q。

我们先来看一种含单隐藏层的多层感知机的设计。其输出$\boldsymbol{O} \in \mathbb{R}^{n \times q}$O∈Rn×q的计算为

$\begin{aligned} \boldsymbol{H} &= \boldsymbol{X} \boldsymbol{W}_h + \boldsymbol{b}_h,\\ \boldsymbol{O} &= \boldsymbol{H} \boldsymbol{W}_o + \boldsymbol{b}_o, \end{aligned}$HO​=XWh​+bh​,=HWo​+bo​,​

也就是将隐藏层的输出直接作为输出层的输入。如果将以上两个式子联立起来，可以得到

$\boldsymbol{O} = (\boldsymbol{X} \boldsymbol{W}_h + \boldsymbol{b}_h)\boldsymbol{W}_o + \boldsymbol{b}_o = \boldsymbol{X} \boldsymbol{W}_h\boldsymbol{W}_o + \boldsymbol{b}_h \boldsymbol{W}_o + \boldsymbol{b}_o.$O=(XWh​+bh​)Wo​+bo​=XWh​Wo​+bh​Wo​+bo​.

从联立后的式子可以看出，虽然神经网络引入了隐藏层，却依然等价于一个单层神经网络：其中输出层权重参数为$\boldsymbol{W}_h\boldsymbol{W}_o$Wh​Wo​，偏差参数为$\boldsymbol{b}_h \boldsymbol{W}_o + \boldsymbol{b}_o$bh​Wo​+bo​。不难发现，即便再添加更多的隐藏层，以上设计依然只能与仅含输出层的单层神经网络等价。

**函数

上述问题的根源在于全连接层只是对数据做仿射变换（affine transformation），而多个仿射变换的叠加仍然是一个仿射变换。解决问题的一个方法是引入非线性变换，例如对隐藏变量使用按元素运算的非线性函数进行变换，然后再作为下一个全连接层的输入。这个非线性函数被称为**函数（activation function）。

下面我们介绍几个常用的**函数：

ReLU函数

ReLU（rectified linear unit）函数提供了一个很简单的非线性变换。给定元素$x$x，该函数定义为

$\text{ReLU}(x) = \max(x, 0).$ReLU(x)=max(x,0).

Sigmoid函数

sigmoid函数可以将元素的值变换到0和1之间：

$\text{sigmoid}(x) = \frac{1}{1 + \exp(-x)}.$sigmoid(x)=1+exp(−x)1​.

tanh函数

tanh（双曲正切）函数可以将元素的值变换到-1和1之间：

$\text{tanh}(x) = \frac{1 - \exp(-2x)}{1 + \exp(-2x)}.$tanh(x)=1+exp(−2x)1−exp(−2x)​.

我们接着绘制tanh函数。当输入接近0时，tanh函数接近线性变换。虽然该函数的形状和sigmoid函数的形状很像，但tanh函数在坐标系的原点上对称。

tanh函数

tanh（双曲正切）函数可以将元素的值变换到-1和1之间：

$\text{tanh}(x) = \frac{1 - \exp(-2x)}{1 + \exp(-2x)}.$tanh(x)=1+exp(−2x)1−exp(−2x)​.

我们接着绘制tanh函数。当输入接近0时，tanh函数接近线性变换。虽然该函数的形状和sigmoid函数的形状很像，但tanh函数在坐标系的原点上对称。

关于**函数的选择

ReLu函数是一个通用的**函数，目前在大多数情况下使用。但是，ReLU函数只能在隐藏层中使用。

用于分类器时，sigmoid函数及其组合通常效果更好。由于梯度消失问题，有时要避免使用sigmoid和tanh函数。

在神经网络层数较多的时候，最好使用ReLu函数，ReLu函数比较简单计算量少，而sigmoid和tanh函数计算量大很多。

在选择**函数的时候可以先选用ReLu函数如果效果不理想可以尝试其他**函数。

语言模型

一段自然语言文本可以看作是一个离散时间序列，给定一个长度为$T$T的词的序列$w_1, w_2, \ldots, w_T$w1​,w2​,…,wT​，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：

$P(w_1, w_2, \ldots, w_T).$P(w1​,w2​,…,wT​).

本节我们介绍基于统计的语言模型，主要是$n$n元语法（$n$n-gram）。在后续内容中，我们将会介绍基于神经网络的语言模型。

语言模型

假设序列$w_1, w_2, \ldots, w_T$w1​,w2​,…,wT​中的每个词是依次生成的，我们有

$$

\begin{align*}
P(w_1, w_2, \ldots, w_T)
&= \prod_{t=1}^T P(w_t \mid w_1, \ldots, w_{t-1})\
&= P(w_1)P(w_2 \mid w_1) \cdots P(w_T \mid w_1w_2\cdots w_{T-1})
\end{align*}

$$

例如，一段含有4个词的文本序列的概率

$P(w_1, w_2, w_3, w_4) = P(w_1) P(w_2 \mid w_1) P(w_3 \mid w_1, w_2) P(w_4 \mid w_1, w_2, w_3).$P(w1​,w2​,w3​,w4​)=P(w1​)P(w2​∣w1​)P(w3​∣w1​,w2​)P(w4​∣w1​,w2​,w3​).

语言模型的参数就是词的概率以及给定前几个词情况下的条件概率。设训练数据集为一个大型文本语料库，如维基百科的所有条目，词的概率可以通过该词在训练数据集中的相对词频来计算，例如，$w_1$w1​的概率可以计算为：

$$

\hat P(w_1) = \frac{n(w_1)}{n}

$$

其中$n(w_1)$n(w1​)为语料库中以$w_1$w1​作为第一个词的文本的数量，$n$n为语料库中文本的总数量。

类似的，给定$w_1$w1​情况下，$w_2$w2​的条件概率可以计算为：

$$

\hat P(w_2 \mid w_1) = \frac{n(w_1, w_2)}{n(w_1)}

$$

其中$n(w_1, w_2)$n(w1​,w2​)为语料库中以$w_1$w1​作为第一个词，$w_2$w2​作为第二个词的文本的数量。

n元语法

序列长度增加，计算和存储多个词共同出现的概率的复杂度会呈指数级增加。$n$n元语法通过马尔可夫假设简化模型，马尔科夫假设是指一个词的出现只与前面$n$n个词相关，即$n$n阶马尔可夫链（Markov chain of order $n$n），如果$n=1$n=1，那么有$P(w_3 \mid w_1, w_2) = P(w_3 \mid w_2)$P(w3​∣w1​,w2​)=P(w3​∣w2​)。基于$n-1$n−1阶马尔可夫链，我们可以将语言模型改写为

$P(w_1, w_2, \ldots, w_T) = \prod_{t=1}^T P(w_t \mid w_{t-(n-1)}, \ldots, w_{t-1}) .$P(w1​,w2​,…,wT​)=t=1∏T​P(wt​∣wt−(n−1)​,…,wt−1​).

以上也叫$n$n元语法（$n$n-grams），它是基于$n - 1$n−1阶马尔可夫链的概率语言模型。例如，当$n=2$n=2时，含有4个词的文本序列的概率就可以改写为：

$$

\begin{align*}
P(w_1, w_2, w_3, w_4)
&= P(w_1) P(w_2 \mid w_1) P(w_3 \mid w_1, w_2) P(w_4 \mid w_1, w_2, w_3)\
&= P(w_1) P(w_2 \mid w_1) P(w_3 \mid w_2) P(w_4 \mid w_3)
\end{align*}

$$

当$n$n分别为1、2和3时，我们将其分别称作一元语法（unigram）、二元语法（bigram）和三元语法（trigram）。例如，长度为4的序列$w_1, w_2, w_3, w_4$w1​,w2​,w3​,w4​在一元语法、二元语法和三元语法中的概率分别为

$$

\begin{aligned}
P(w_1, w_2, w_3, w_4) &= P(w_1) P(w_2) P(w_3) P(w_4) ,\
P(w_1, w_2, w_3, w_4) &= P(w_1) P(w_2 \mid w_1) P(w_3 \mid w_2) P(w_4 \mid w_3) ,\
P(w_1, w_2, w_3, w_4) &= P(w_1) P(w_2 \mid w_1) P(w_3 \mid w_1, w_2) P(w_4 \mid w_2, w_3) .
\end{aligned}

$$

当$n$n较小时，$n$n元语法往往并不准确。例如，在一元语法中，由三个词组成的句子“你走先”和“你先走”的概率是一样的。然而，当$n$n较大时，$n$n元语法需要计算并存储大量的词频和多词相邻频率。

时序数据的采样

在训练中我们需要每次随机读取小批量样本和标签。与之前章节的实验数据不同的是，时序数据的一个样本通常包含连续的字符。假设时间步数为5，样本序列为5个字符，即“想”“要”“有”“直”“升”。该样本的标签序列为这些字符分别在训练集中的下一个字符，即“要”“有”“直”“升”“机”，即$X$X=“想要有直升”，$Y$Y=“要有直升机”。

现在我们考虑序列“想要有直升机，想要和你飞到宇宙去”，如果时间步数为5，有以下可能的样本和标签：

• $X$X：“想要有直升”，$Y$Y：“要有直升机”
• $X$X：“要有直升机”，$Y$Y：“有直升机，”
• $X$X：“有直升机，”，$Y$Y：“直升机，想”
• …
• $X$X：“要和你飞到”，$Y$Y：“和你飞到宇”
• $X$X：“和你飞到宇”，$Y$Y：“你飞到宇宙”
• $X$X：“你飞到宇宙”，$Y$Y：“飞到宇宙去”

可以看到，如果序列的长度为$T$T，时间步数为$n$n，那么一共有$T-n$T−n个合法的样本，但是这些样本有大量的重合，我们通常采用更加高效的采样方式。我们有两种方式对时序数据进行采样，分别是随机采样和相邻采样。

随机采样

下面的代码每次从数据里随机采样一个小批量。其中批量大小batch_size是每个小批量的样本数，num_steps是每个样本所包含的时间步数。
在随机采样中，每个样本是原始序列上任意截取的一段序列，相邻的两个随机小批量在原始序列上的位置不一定相毗邻。

相邻采样

在相邻采样中，相邻的两个随机小批量在原始序列上的位置相毗邻。

循环神经网络

本节介绍循环神经网络，下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量$H$H，用$H_{t}$Ht​表示$H$H在时间步$t$t的值。$H_{t}$Ht​的计算基于$X_{t}$Xt​和$H_{t-1}$Ht−1​，可以认为$H_{t}$Ht​记录了到当前字符为止的序列信息，利用$H_{t}$Ht​对序列的下一个字符进行预测。

循环神经网络

本节介绍循环神经网络，下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量$H$H，用$H_{t}$Ht​表示$H$H在时间步$t$t的值。$H_{t}$Ht​的计算基于$X_{t}$Xt​和$H_{t-1}$Ht−1​，可以认为$H_{t}$Ht​记录了到当前字符为止的序列信息，利用$H_{t}$Ht​对序列的下一个字符进行预测。

LSTM的演化

人类并不是从混沌状态开始他们的思考。就像你读这篇文章时，你是建立在你之前对文字的理解上。你并不是学习结束之后就丢弃掉你学到的东西，然后再从混沌状态开始。因为你的思想有持续性。
然而，传统的神经网络并不能做到持续记忆，这应该是传统神经网络的一个缺陷。假想一下，你想让神经网络对电影中每个时间点的事件进行分类，很明显，传统神经网络不能使用前一个事件去推理下一个事件。
递归神经网络可以解决这个问题。它们是带有循环的神经网络，允许信息保留一段时间。

在上图中，A 代表神经网络主体, xt 是网络输入，ht是网络输出，循环结构允许信息从当前输出传递到下一次的网络输入。
长期依赖的问题

人门希望RNNs能够连接之前的信息到当前的任务中，例如，使用之前的图像帧信息去辅助理解当前的帧。如果RNNs可以做到这个，它们将会特别的有用，但是它们可以做到吗？这要视情况而定。
有时，我们仅仅需要使用当前的信息去执行当前的任务。例如， 一个语言模型试图根据之前的单词去预测下一个单词。如果我们试图去预测“the clouds are in the sky”,我们不需要更多的上下文信息–很明显下一个单词会是sky。在类似这种相关信息和需要它的场合并不太多的情景下，RNNs可以学习使用之前的信息。

但是，也有很多场景需要使用更多的上下文。当我们去尝试预测“I grew up in France…I speak fluent French”的最后一个单词，最近的信息表明下一个单词应该是语言的名字，但是如果我们想缩小语言的范围，看到底是哪种语言，我们需要France这个在句子中比较靠前的上下文信息。相关信息和需要预测的点的间隔很大的情况是经常发生的。
不幸的事，随着间隔的增大，RNNs连接上下文信息开始力不从心了.
LSTM 网络

长短期记忆网络–通畅叫做”LSTMs”–是一种特殊的RNNs， 它能够学习长期依赖。LSTM由Hochreiter&Schmidhuber(1997)引入，后来在很多人的努力下变得越来越精炼和流行。它们在大量的问题上有惊人的效果，现在被广泛的使用。
LSTMs被明确的设计用来解决长期依赖问题，记住长时间段的信息是他们的必备技能，不像RNNs那么费力去做还做不好。
所有的递归神经网络都有重复神经网络本身模型的链式形式。在标准的RNNs， 这个复制模块只有一个非常简单的结构，例如一个双极性（tanh）层。

LSTMs 也有这种链式结构，但是这个重复模块与上面提到的RNNs结构不同：LSTMs并不是只增加一个简单的神经网络层，而是四个，它们以一种特殊的形式交互。