优化 TensorFlow 学习率

Question

如何动态找到最佳学习率和衰减率？

tf.train.exponential_decay等函数不能根据不同情况动态改变，因为起始速率和衰减速率是预先定义好的。

Answer 1

这是一个开放的研究问题，但对于大批量回溯线搜索可能很有用。

请注意，对于足够小的邻域，您的损失函数近似线性，因此如果您采取足够小的步骤，您可以预测损失减少的幅度。

因此，我们的想法是查看预测的损失减少与实际减少的对比。如果它太接近，你太保守了，你增加了你的步长。如果太远，则相反。

TensorFlow 中没有内置原语来执行此操作，但您可以使用较低级别的操作来实现它。这是一个关于 MNIST 自动编码器的端到端示例：https://github.com/yaroslavvb/stuff/tree/master/line_search_example

学习率很快就上升到了0.05，然后你收敛了就没法进步了，所以就降到了零。