Warmup学习率并不是一个新颖的东西， 在很多task上面都被证明是有效的，标准Baseline使用是的常见阶梯下降型学习率，初始学习率为3.5e-4，总共训,120个epoch，在第40和70个epoch进行学习率下降。用一个很大的学习率初始化网路可能使得网络震荡到一个次优空间，因为网络初期的梯度是很大的。Warmup的策略就是初期用一个逐渐递增的学习率去初始化网络，渐渐初始化到一个更优的搜索空间。本文使用最简单的线性策略，即前10个epoch学习从0逐渐增加到初始学习率。
作者：罗浩.ZJU
链接：https://zhuanlan.zhihu.com/p/61831669
来源：知乎