在 TensorFlow 对象检测中找到最佳学习率

Question

我想使用 tensorflow 对象检测 api 搜索最佳学习率。但是在配置文件中我找不到任何东西。我可以添加schedule，但它无法搜索最佳学习率。

learning_rate: {
            manual_step_learning_rate {
              initial_learning_rate: 0.003
              schedule {
                step: 6000
                learning_rate: .0003
              }
              schedule {
                step: 12000
                learning_rate: .00003
              }

是否有任何技巧或方法可以搜索最佳学习率。

Answer 1

如果您参考学习率查找器（如 Smith 所述，例如：https://arxiv.org/abs/1803.09820），您似乎可以使用以下方法模拟它：

learning_rate: {
    exponential_decay_learning_rate {
          initial_learning_rate: 0.004
          decay_steps: 10000
          decay_factor: 1.3
    }
}

衰减因子大于 1。

您仍然需要查看损失并自己选择最佳学习率。