TensorFlow 对象检测 API GPU 内存问题答案

【问题标题】：Tensorflow Object Detection API GPU memory issueTensorFlow 对象检测 API GPU 内存问题
【发布时间】：2021-06-08 07:45:19
【问题描述】：

我目前正在尝试基于模型检测动物园训练模型以进行对象检测。在 CPU 上运行设置按预期工作，但在我的 GPU 上尝试相同会导致以下错误。

2021-03-10 11:46:54.286051: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library cublas64_11.dll
2021-03-10 11:46:54.751423: E tensorflow/stream_executor/cuda/cuda_blas.cc:226] failed to create cublas handle: CUBLAS_STATUS_ALLOC_FAILED
2021-03-10 11:46:54.764147: E tensorflow/stream_executor/cuda/cuda_blas.cc:226] failed to create cublas handle: CUBLAS_STATUS_ALLOC_FAILED
2021-03-10 11:46:54.764233: W tensorflow/stream_executor/stream.cc:1455] attempting to perform BLAS operation using StreamExecutor without BLAS support

在任务管理器中监控 GPU 信息，似乎 tensorflow（据我所知）试图分配整个内存。在达到特定峰值（大约 8Gb 的 7.3 Gb）后不久，TF 崩溃并出现上面 sn-p 中看到的错误。

Internet / stackoverflow 中针对此特定错误的解决方案提到，可以通过动态内存增长来解决此问题。这样做似乎可行，并且 TF 设法创建了至少一个新的检查点，但最终崩溃并出现类似类别的错误。在这种情况下，CUDA_OUT_OF_MEMORY 错误。

系统信息：

锐龙 5
16 GB 内存
具有 8Gb 显存的 RTX 2060 Super

训练设置：

张量流 2.4
CUDA 11.0（也尝试了几种 CUDA cuDNN 版本的组合）
cuDNN 8.0.4

最初我想使用预训练的 EfficientDet D6 模型，但也尝试了其他几个模型，例如 EfficientDet D4、CenterNet HourGlass 512x512 和 SSD MobileNet V2 FPNLite。所有这些模型都以不同的批量大小开始，但即使批量大小为 1，问题仍然存在。训练图像也不大（平均为 600 x 800）。目前总共有 30 张图片，每班 15 张用于训练（我知道训练数据集应该更大，但这只是为了测试设置）。

现在我的问题是，是否有人有根据的猜测或另一种方法来找到此错误的原因，因为我无法想象我的 2060 至少不能训练批量大小为 1 且图像相当小的 SSD .会不会是硬件故障？如果是这样，有没有办法检查？

【问题讨论】：

我选择图像是因为文本版本相当混乱（格式），但我肯定可以用文本替换它。编辑：本可以使用代码块格式...愚蠢的我。
Tensorflow docs 在“限制 GPU 内存增长”一节中提到了多种限制 GPU 内存使用的方法。你能展示你在实验中使用的具体代码吗？这看起来像是 Tensorflow 级别的软件配置问题，所以我不确定 CUDA 标签是否合理；如果这是由于硬件缺陷造成的，我会感到非常惊讶。
我使用了与 tensorflow 模型花园存储库捆绑在一起的 model_main_tf2.py 脚本。我也尝试过您提到的限制方法，但即使将其限制为 1gb，也会出现相同的错误。

标签： gpu object-detection-api tensorflow2.x

【解决方案1】：

我已经完成了所有相关组件的完全重新安装。这次我可能做了一些不同的事情，但我不能说是什么。至少我现在可以利用 GPU 进行训练了。

【讨论】：