如何解决这个奇怪的错误：“RuntimeError: CUDA error: out of memory”

Question

我运行了一段关于深度学习网络的代码，首先我训练了网络，效果很好，但是运行到验证网络时出现这个错误。

我有五个 epoch，每个 epoch 都有一个训练和验证的过程。我在第一个时期验证时遇到了错误。所以我不运行验证代码，我发现代码可以运行到第二个epoch并且没有错误。

我的代码：

for epoch in range(10,15): # epoch: 10~15
    if(options["training"]["train"]):
        trainer.epoch(model, epoch)

    if(options["validation"]["validate"]):
    #if(epoch == 14):
        validator.epoch(model)

我觉得验证的代码可能有一些错误。但我找不到。

Answer 1

显示您提供的错误，因为您的 GPU 内存不足。解决此问题的一种方法是减少批处理大小，直到您的代码运行时不会出现此错误。

Answer 2

我尝试在以下列表中报告可能有多种原因：

1. 模块参数：检查模块的维数。将一个大输入张量（例如，大小 1000）转换为另一个大输出张量（例如，大小 1000）的线性层将需要一个大小为 (1000, 1000) 的矩阵。
2. RNN 解码器最大步数：如果您在架构中使用 RNN 解码器，请避免循环大量步数。通常，您会修复给定数量的解码步骤，这对您的数据集来说是合理的。
3. 张量使用：尽量减少您创建的张量的数量。垃圾收集器在它们超出范围之前不会释放它们。
4. 批量大小：逐渐增加批量大小，直到内存不足。这是一个常见的技巧，即使是著名的库也会实现（参见 AllenNLP 中 BucketIterator 的 biggest_batch_first 描述。

另外，我建议你看看官方 PyTorch 文档：https://pytorch.org/docs/stable/notes/faq.html

Answer 3

1.. 当您只执行验证而不是训练时，
您无需计算前向和后向相位的梯度。
在这种情况下，您的代码可以位于

with torch.no_grad():
    ...
    net=Net()
    pred_for_validation=net(input)
    ...

以上代码不使用 GPU 内存

2.. 如果您在代码中使用 += 运算符，
它可以在您的梯度图中连续累积梯度。
在这种情况下，您需要像以下站点一样使用 float()
https://pytorch.org/docs/stable/notes/faq.html#my-model-reports-cuda-runtime-error-2-out-of-memory

即使 docs 使用 float() 引导，对我来说，item() 也可以像

entire_loss=0.0
for i in range(100):
    one_loss=loss_function(prediction,label)
    entire_loss+=one_loss.item()

3.. 如果在训练代码中使用 for 循环，
数据可以持续到整个 for 循环结束。
因此，在这种情况下，您可以在执行 optimizer.step() 后显式删除变量

for one_epoch in range(100):
    ...
    optimizer.step()
    del intermediate_variable1,intermediate_variable2,...

Answer 4

最好的办法是找到占用gpu内存的进程并杀死它：

从以下位置找到python进程的PID：

nvidia-smi

复制 PID 并通过以下方式终止它：

sudo kill -9 pid

Answer 5

如果有人因为 fast.ai 而到达这里，则可以通过 bs=N 控制诸如 ImageDataLoaders 之类的加载程序的批量大小，其中 N 是批量大小。

我的专用 GPU 被限制为 2GB 内存，在以下示例中使用 bs=8 在我的情况下工作：

from fastai.vision.all import *
path = untar_data(URLs.PETS)/'images'

def is_cat(x): return x[0].isupper()
dls = ImageDataLoaders.from_name_func(
    path, get_image_files(path), valid_pct=0.2, seed=42,
    label_func=is_cat, item_tfms=Resize(244), num_workers=0, bs=)

learn = cnn_learner(dls, resnet34, metrics=error_rate)
learn.fine_tune(1)

Answer 6

我的电脑也遇到了同样的问题。您所要做的就是自定义适合您计算机的 cfg 文件。原来我的计算机将图像大小低于 600 X 600，当我在配置文件中进行相同的调整时，程序运行顺利。Picture Describing my cfg file

Answer 7

我遇到了同样的问题，这段代码对我有用：

import gc

gc.collect()

torch.cuda.empty_cache()

Answer 8

我是 Pytorch 用户。就我而言，这个错误消息的原因实际上不是由于 GPU 内存，而是由于 Pytorch 和 CUDA 之间的版本不匹配。

通过下面的代码检查原因是否真的是由于您的 GPU 内存。

import torch
foo = torch.tensor([1,2,3])
foo = foo.to('cuda')

如果上述代码仍然出现错误，最好根据你的CUDA版本重新安装你的Pytorch。 （就我而言，这解决了问题。） Pytorch install link

Tensorflow/Keras 也会发生类似的情况。

Answer 9

以下代码解决的问题：

import os
os.environ['CUDA_VISIBLE_DEVICES']='2, 3'

Answer 10

如果您在 Google Colab 中遇到此错误，请使用以下代码：

import torch
torch.cuda.empty_cache()