【问题标题】:Using TensorFlow with GPU taking a long time for loading library related to CUDA使用 TensorFlow 和 GPU 需要很长时间来加载与 CUDA 相关的库
【发布时间】:2021-08-23 02:20:25
【问题描述】:

机器设置:

  • GPU:GeForce RTX 3060

  • 驱动程序版本:460.73.01

  • CUDA 驱动程序版本:11.2

  • 张量流:张量流-GPU 1.14.0

  • CUDA 运行时版本:10.0

  • cudnn:7.4.1

注意:

  1. CUDA 运行时和 cudnn 版本符合 Tensorflow 官方文档中的指南。
  2. 我也试过 TensorFlow-gpu = 2.0,还是一样的问题。

问题:

我正在使用 Tensorflow 执行异议检测任务。我的情况是程序会卡在

2021-06-05 12:16:54.099778: I tensorflow/stream_executor/platform/default/dso_loader.cc:42] Successfully opened dynamic library libcublas.so.10

几分钟。

然后卡在下一个加载过程

2021-06-05 12:21:22.212818: I tensorflow/stream_executor/platform/default/dso_loader.cc:42] Successfully opened dynamic library libcudnn.so.7

更长的时间。日志详情请查看log.txt

等待大约 30 分钟后,程序将开始运行并运行良好

但是,每当程序调用self.session.run(...)时,它会再次加载与cuda相关的两个库(libcublaslibcudnn),既浪费时间又烦人.

我很困惑问题来自哪里以及如何解决它。有人可以帮忙吗?

Discussion Issue on Github

====================================

更新

在@talonmies 的帮助下,通过在 GPU、CUDA、cudnn 和 tensorflow 之间使用正确的版本匹配重置环境来解决问题。现在运行顺利。

【问题讨论】:

  • 您拥有的 Tensorflow 版本对您的 GPU 没有任何原生二进制支持。结果,对 everything tensorflow 延迟负载进行了 JIT 重新编译。这并不快。升级到原生支持 GPU 的 Tensorflow 版本或使用它是您的两个选择
  • @talonmies 非常感谢您的帮助。我已经用 GPU、CUDA、cudnn 和 tensorflow 之间的正确版本匹配重置了环境。现在可以顺利运行了。

标签: tensorflow gpu


【解决方案1】:

一般情况下,如果 TF、CUDA 和 cuDNN 版本之间存在任何不兼容,您可以观察到这种行为。

对于GeForce RTX 3060,支持从CUDA 11.x开始。升级到 TF2.4TF2.5 后,您的问题将得到解决。

为了社区的利益,提供经过测试的构建配置

CUDA 支持矩阵

【讨论】:

  • 感谢帮助 :)
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-01-19
  • 2017-06-26
  • 1970-01-01
  • 2021-05-14
  • 2012-06-24
相关资源
最近更新 更多