【问题标题】:How to understand the learning rate choosing in SGD如何理解 SGD 中的学习率选择
【发布时间】:2014-10-24 17:21:26
【问题描述】:

像大多数数值超参数一样, 学习率应该在对数域中探索,并没有太多收获 通过将其改进超过 2 倍,而探索的动态范围可能在 10^6,学习率通常低于 1。

在这一段中,我想知道 1:log-domain是什么意思? 2:因子2有什么用? 3:动态范围是什么意思?

谢谢!

【问题讨论】:

    标签: gradient deep-learning


    【解决方案1】:

    【讨论】:

    • 我已经阅读了这些文章,但我仍然感到困惑。可以举个例子吗?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-05-03
    • 1970-01-01
    • 2016-09-02
    • 2016-10-27
    • 1970-01-01
    相关资源
    最近更新 更多