改变 pytorch 中的优化器动力答案

【问题标题】：Changing an optimisers momentum in pytorch改变 pytorch 中的优化器动力
【发布时间】：2020-12-19 10:27:41
【问题描述】：

我知道您可以使用调度程序在 pytorch 中动态更改学习率。你怎么能用动量做同样的事情？

【问题讨论】：

标签： python deep-learning pytorch momentum

【解决方案1】：

来自 documentation PyTorch 中的乘法 LR。基本上，您将调度程序包装在优化器周围，就像将优化器包装在模型参数周围一样。

lmbda = lambda epoch: 0.95
scheduler = MultiplicativeLR(optimizer, lr_lambda=lmbda)
for epoch in range(100):
    train(...)
    validate(...)
    scheduler.step()

【讨论】：

这如何为优化器动态调整动量参数？它似乎只调整学习率。
啊，对不起，你特别想要动力。您可以修改要用于调整动量的调度程序的源代码。例如，您可以在这里使用代码：pytorch.org/docs/stable/_modules/torch/optim/… 并使用 group['momentum'] 调整动量