如何在 google colab 中管理 gpu RAM？

Question

当我运行一些用 PyTorch 编写的深度学习模型时，我遇到了错误：

RuntimeError: CUDA 内存不足。试图分配 108.00 MiB (GPU 0; 14.73 GiB 总容量；已分配 13.68 GiB； 11.88 MiB 免费； PyTorch 总共保留了 13.78 GiB）。

当我尝试跟踪一些错误并一遍又一遍地运行单元格时，就会发生这种情况。 是否有一些救生窍门可以避免？

这是一个代码示例（我在 google colab 中标记了单元格）：

def train(...):
  ...
  assert False
  ...

model = SegNet().to(device)

max_epochs = 20
optim = torch.optim.Adam(model.parameters(), lr=10e-5)
train(model, optim, bce_loss, max_epochs, data_tr, data_val)

我找到了运营商del，所以我可以制作

del model

在使用model 之后。但是在手动或一些错误assert 之后如何管理内存？

Answer 1

y_pred = model(X_batch...) 之后的操作员 del X_batch 对我有一点帮助。函数.backward() 使用了最大的内存，但我无能为力。我想 colab.google 与使用 RAM 无关。