大型数据集和 Cuda 内存问题

Question

我正在处理一个大型数据集并遇到此错误：“RuntimeError：CUDA 内存不足。尝试分配 1.35 GiB（GPU 0；8.00 GiB 总容量；3.45 GiB 已分配；1.20 GiB 可用；4.79 GiB 保留在PyTorch 总计）。

有没有想过如何解决这个问题？

Answer 1

我以前遇到过同样的问题。这不是错误，只是您的 GPU 内存不足。

1. 解决此问题的一种方法是减少批处理大小，直到您的代码运行时不会出现此错误。
2. 如果它不起作用，最好了解您的模型。单个 8GiB GPU 可能无法处理大而深的模型。您应该考虑更换内存更大的 GPU，并找到可以帮助您的实验室（Google Colab 可以提供帮助）
3. 如果您只是进行评估，强制运行张量 CPU 就可以了
4. 尝试模型压缩算法

Answer 2

如果您使用的是全批梯度下降（或类似方法），请使用具有较小批大小的小批代替，并在数据加载器中反映相同。