如何在 PyTorch Lightning 中编写多个训练设置

Question

我想迭代量化我的模型。这意味着在通常在training_step 中实现的正常训练循环之后，我想迭代地量化一些参数并重新训练模型几个步骤。

我真的不知道如何在 Lightning 中完成此操作。我可以在类中添加一个新实例，但是我必须自己再次编写训练循环？

Answer 1

也许，您可以在training_step 中添加类似的内容：

step = self.global_step
if step % quantization_period == 0 and step > 0:
    self.submodules[step // quantization_period].half()

您还可以覆盖 LightningModule.on_epoch_end(self) 以在每个训练周期后执行某些操作。