如何在 Pytorch 中清除 CUDA 中的垃圾？

Question

我教了我的神经网络，并意识到即使在 torch.cuda.empty_cache() 和 gc.collect() 之后，我的 cuda 设备内存也会被填满。在 Colab Notebooks 中，我们可以看到内存中的当前变量，但即使我删除了每个变量并清理垃圾 gpu-memory 也很忙。 我听说这是因为 python 垃圾收集器不能在 cuda-device 上工作。 请解释一下，我该怎么办？

Answer 1

对我来说，我必须在清空缓存之前删除模型：

del model
gc.collect()
torch.cuda.empty_cache()

然后您可以使用“nvidia-smi”检查内存是否已释放。