Tensorflow#object_detection/train.py 上的 CUDA_ERROR_OUT_OF_MEMORY

Question

我正在运行 Tensorflow 对象检测 API 来使用 object_detection/train.py 脚本（找到 here）训练我自己的检测器。问题是我不断收到CUDA_ERROR_OUT_OF_MEMORY。

我找到了一些减少批量大小的建议，以便训练器消耗更少的内存，但我从 16 减少到 4，但我仍然遇到同样的错误。不同的是，当使用batch_size=16时，错误在~18步抛出，现在在~70步抛出。 编辑： 设置 batch_size=1 并没有解决问题，因为我在 ~2700 步仍然遇到错误。

在我停止训练过程之前，我该怎么做才能让它顺利运行？我真的不需要快速训练。

编辑： 我目前正在为此使用 GTX 750 Ti 2GB。除了训练和提供监视器图像之外，GPU 没有用于其他任何用途。目前，我只使用 80 张图像进行训练，20 张图像进行评估。

Answer 1

我认为与batch_size无关，因为您可以首先开始训练。

打开终端并运行

nvidia-smi -l

检查发生此错误时是否有其他进程启动。如果你设置batch_size=16，你可以很快找到。

Answer 2

找到了我的问题的解决方案。 batch_size 不是问题，但更高的batch_size 会使训练内存消耗增加得更快，因为我使用的是config.gpu_options.allow_growth = True 配置。此设置允许 Tensorflow 在需要时增加内存消耗，并尝试使用直到 100% 的 GPU 内存。

问题是我同时运行eval.py 脚本（如他们的教程中所建议的那样），并且它使用了 GPU 内存的一部分。当train.py 脚本尝试使用全部 100% 时，抛出错误。

我通过将训练过程的最大使用百分比设置为 70% 来解决这个问题。它还解决了训练时口吃的问题。这可能不是我的 GPU 的最佳值，但可以使用 config.gpu_options.per_process_gpu_memory_fraction = 0.7 设置进行配置，例如。

Answer 3

另一种选择是将 GPU 专用于训练并使用 CPU 进行评估。

• 缺点：评估会消耗大部分 CPU，但每次创建训练检查点时只会消耗几秒钟，这种情况并不常见。
• 优势： 100% 的 GPU 始终用于训练

要以 CPU 为目标，请在运行评估脚本之前设置此环境变量：

export CUDA_VISIBLE_DEVICES=-1

您可以在pipeline.config 中将评估批处理作业大小显式设置为 1 以减少内存消耗：

eval_config: {
  metrics_set: "coco_detection_metrics"
  use_moving_averages: false
  batch_size: 1;
}

如果您仍然遇到问题，TensorFlow 可能不会在训练运行之间释放 GPU 内存。尝试重新启动终端或 IDE，然后重试。这个answer有更多细节。