【问题标题】:Learning rate ,Loss and Batch size学习率、损失和批量大小
【发布时间】:2020-05-15 21:02:15
【问题描述】:

损失是否取决于学习率和批量大小。例如,如果我保持批量大小为 4 并且学习率可以说是 .002,那么损失不会收敛,但如果将批量大小更改为 32 保持学习率相同,我会得到收敛的损失曲线。这可以吗?

【问题讨论】:

    标签: machine-learning optimization loss batchsize learning-rate


    【解决方案1】:

    我会说损失在很大程度上取决于您用于训练的参数。另一方面,我不会将其称为数学函数的依赖关系,而是关系。

    如果您的网络无法学习,您需要调整参数(架构、学习率、批量大小等)。

    很难对您的问题给出更具体的答案。哪些参数可以,取决于问题。但是,如果它收敛并且您可以验证您的解决方案,我会说您很好。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2020-10-22
      • 2021-11-02
      • 1970-01-01
      • 1970-01-01
      • 2021-11-02
      • 2021-07-23
      • 2021-04-15
      • 2020-09-03
      相关资源
      最近更新 更多