您可以在 Keras 中编写自定义学习率调度程序吗？

Question

我知道可以在 Keras 中调整学习率，但所有选项似乎都只包括一些衰减或降低的学习率。我想知道是否可以创建一个像 ReduceLROnPlateau 一样工作的自定义计划，它正在查看损失是否在一定数量的时期内停止减少，如果是，那么它会减少 LR。但是在一些“减少”之后，它会在下一次损失停滞时增加学习率，然后在损失停滞之后继续减少。

我的想法是，你可能会下降到一个局部最小值，除非你提高学习率，否则你可能无法摆脱，然后继续下降到全局最小值。

为学习率创建一个函数有意义吗？ Keras 会接受吗？

谁能告诉我如何编写该函数？

Answer 1

Keras 有 LearningRateScheduler 回调，您可以使用它在训练期间更改学习率。但是你想要的听起来更像是你需要获取一些关于当前损失值和/或梯度的信息，为此你可能想要编写一个优化器。