【发布时间】：2021-07-03 15:17:48
【问题描述】：
我想在 Flux 中为我的优化器设置默认学习率。我在看这个例子：https://fluxml.ai/Flux.jl/stable/training/optimisers/，看起来这样做的接口是通过update! 函数。这是设置学习率的方式还是他们的其他选项也是如此？
【问题讨论】：
【发布时间】：2021-07-03 15:17:48
【问题描述】：
正如Flux.jl docs 中提到的，有几个不同的接口可以设置学习率。对于优化器，您可以使用 update!() 函数。在梯度下降的情况下：
下降（η = 0.1）： 具有学习率 η 的经典梯度下降优化器。对于每个参数 p 及其梯度 δp，这运行 p -= η*δp
这意味着我们可以将一些学习率（通常在 0.1 和 0.001 之间）传递给 Descent 函数来设置 LR。
您可以使用许多其他函数来为特定优化器用例指定 LR，您可以在此处找到这些函数：https://fluxml.ai/Flux.jl/stable/training/optimisers/#Optimiser-Reference
【讨论】：