从零开始深度学习 T2. Gradient Descent

上一篇文章中介绍了回归分析，其中提到了求解最优参数的梯度下降法(Gradient Descent)，这篇文章中，我们将针对Gradient Descent进行展开说明。
如图，Gradient Descent是沿着Loss function的等高线的法线方向更新参数的

Gradient Descent的原理十分简单，但是在实际操作过程中可能会遇到一些问题，对此有一些针对性的tips。关于梯度下降优化更详细的内容，请参照这篇 译文

Tip 1: Tuning your learning rates

回顾Gradient Descent的参数更新过程：

θ←θ−η∇L

η代表参数更新的速度，当参数更新过快时，很可能跳过极值点，为此可以在参数更新的过程中不断调整参数的更新速度，在参数接近极值点的时候，使参数更新的慢一点。
步长调整方式有以下几种：

Vanilla Gradient descent

gt=∂L(θt)∂w

ηt=ηt+1−−−−√

wt+1←wt−ηtgt

从Vanilla Gradient descent的公式中，我们可以看出，随着参数的更新，步长ηt越来越小，这比较符合直觉，因为随着参数的更新，参数很可能越来越接近极值点，此时我们需要更加小心的更新参数。

Adagrad

Adagrad可以表示为如下公式：

gt=∂L(θt)∂w

wt+1←wt−η∑ti=0(gi)2−−−−−−−−−√gt

Adagrad与Vanilla Gradient descent的不同点在于，Adagrad多考虑了一种情况：当某时刻某方向的梯度gt非常大时，ηtgt也会非常大，此时参数更新仍然会“迈出一个大步子”，这也可能使我们错过极值点。Adagrad公式中的∑ti=0(gi)2−−−−−−−−−√避免了这种情况。

Tip 2: Stochastic Gradient Descent

之前提到的Gradient Descent在每一次参数更新时，都要计算全体数据集在新的参数下的Loss，当数据集很大的时候，这会造成巨大的计算开销。Stochastic Gradient Descent是解决该问题的一种技术手段，在Stochastic Gradient Descent的每一次迭代中，会随机采样(x,y)，并只针对(x,y)计算Loss以及梯度。这可以大大加快training的速度(不过在training的过程中，也会引入一些噪音)。

Tip 3: Feature Scaling

不同的feature可能有不同的大小范围，如果没有对feature进行任何预处理，某些波动范围很大的feature在参数更新过程中就可能占据主导作用，从而使参数更新过程走很多弯路。如下图所示，当feature x1 的范围远远小于 feature x2时，w2对y的影响就远远大于w1，这就造成了梯度线呈椭圆形，此时法线方向并不指向椭圆中心，于是进行参数更新的时候，就不是朝着最低点更新了。

feature scaling处理起来非常简便，只需对输入参数进行如下处理即可：

xri←xri−miσi

其中mi为training集中feature xi的平均数，σi为training集中feature xi的方差。

Warning Limitation of Gradient Descent

Gradient Descent进行参数更新的依据是每个参数的偏微分，因此当参数的偏微分很小的时候，参数更新会很慢，甚至停止。下图中出现的情况需要引起我们的注意：

至于怎么解决这些问题呢？我们会在以后的博客中进行介绍。