【发布时间】:2020-05-15 21:02:15
【问题描述】:
损失是否取决于学习率和批量大小。例如,如果我保持批量大小为 4 并且学习率可以说是 .002,那么损失不会收敛,但如果将批量大小更改为 32 保持学习率相同,我会得到收敛的损失曲线。这可以吗?
【问题讨论】:
标签: machine-learning optimization loss batchsize learning-rate
损失是否取决于学习率和批量大小。例如,如果我保持批量大小为 4 并且学习率可以说是 .002,那么损失不会收敛,但如果将批量大小更改为 32 保持学习率相同,我会得到收敛的损失曲线。这可以吗?
【问题讨论】:
标签: machine-learning optimization loss batchsize learning-rate
我会说损失在很大程度上取决于您用于训练的参数。另一方面,我不会将其称为数学函数的依赖关系,而是关系。
如果您的网络无法学习,您需要调整参数(架构、学习率、批量大小等)。
很难对您的问题给出更具体的答案。哪些参数可以,取决于问题。但是,如果它收敛并且您可以验证您的解决方案,我会说您很好。
【讨论】: