需要好的方法来选择和调整“学习率”答案

【问题标题】：Need good way to choose and adjust a "learning rate"需要好的方法来选择和调整“学习率”
【发布时间】：2016-01-21 07:51:09
【问题描述】：

在下图中，您可以看到一个学习算法试图学习产生所需的输出（红线）。学习算法类似于反向误差传播神经网络。

“学习率”是一个值，用于控制在训练过程中所做调整的大小。如果学习率太高，那么算法学习很快，但是它的预测在训练过程中跳跃很多（绿线 - 学习率 0.001），如果它较低，那么预测跳跃更少，但是算法需要一个学习时间更长（蓝线 - 学习率为 0.0001）。

黑线是移动平均线。

我如何调整学习率，使其最初收敛到接近所需的输出，但随后减慢速度，以便它可以磨练到正确的值？

【问题讨论】：

【解决方案1】：

有时随着时间降低学习率的过程称为“退火”学习率。

有许多可能的“退火计划”，比如让学习率成为时间的线性函数：

u(t) = c / t

...c 是一些常数。或者有“搜索然后收敛”的时间表：

u(t) = A * (1 + (c/A)*(t/T)) / 
           (1 + (c/A)*(t/T) + T*(t^2)/(T^2))

...当t 与T（“搜索”阶段）相比较小时，将学习率保持在A 附近，然后当t 与T 相比较大时降低学习率（“收敛”阶段）。当然，对于这两种方法，您都必须调整参数（例如 c、A 或 T），但希望引入它们会有所帮助而不是伤害。 :)

一些参考资料：

快速随机梯度搜索的学习率计划，Christian Darken、Joseph Chang 和 John Moody，用于信号处理的神经网络 2 --- 1992 年 IEEE 研讨会论文集，IEEE 出版社，新泽西州皮斯卡塔韦，1992 年。
A Stochastic Approximation Method，Herbert Robbins 和 Sutton Monro，数学统计年鉴 22，#3（1951 年 9 月），第 400-407 页。
神经网络和学习机器（特别是第 3.13 节），Simon S. Haykin，第 3 版（2008 年），ISBN 0131471392、9780131471399
这是page that briefly discusses learning rate adaptation。

【讨论】：

Search-then-converge 实际上比您在此处编写的定义更复杂。你的公式几乎不是恒定的。见this paper (PDF)。 编辑添加：看起来错误最初是在您的源材料中。所以这不是你的错，但仍然值得注意。
@DavidJ.Harris 很好。我已经更新了搜索然后收敛的时间表。

【解决方案2】：

当您说需要随着网络学习而改变学习率时，您回答了自己的问题。有很多不同的方法可以做到这一点。

最简单的方法是随着迭代次数线性降低学习率。每 25 个（或其他任意数字），从费率中减去一部分，直到达到一个好的最小值。

您也可以通过迭代次数非线性地进行。例如，每次迭代将学习率乘以 0.99，直到达到一个好的最小值。

或者你可以变得更狡猾。使用网络的结果来确定网络的下一个学习率。它的适应度指标做得越好，它的学习率就越小。这样，只要需要，它就会快速收敛，然后慢慢收敛。这可能是最好的方法，但它比简单的迭代次数方法成本更高。

【讨论】：

【解决方案3】：

您是否考虑过其他独立于任何学习率的训练方法？

有一些训练方法不需要计算 Hessian 矩阵的学习率（如 Levenberg-Marquardt），而我遇到过直接搜索算法（如 Norio Baba 开发的那些）。

【讨论】：

【解决方案4】：

也许将负反馈循环中的代码输入到学习算法中，以速率为关键。开始摆动过宽的学习率值会影响反馈回路的调节部分，导致它向另一个方向摆动，此时相反的调节力开始起作用。

状态向量最终会在“太多”和“太少”之间取得平衡。这是生物学中有多少系统起作用

【讨论】：