如何增加nvidia-docker初始化的超时限制答案

【问题标题】：How to increase the timeout limit of nvidia-docker initialization如何增加nvidia-docker初始化的超时限制
【发布时间】：2018-06-14 15:53:10
【问题描述】：

我想知道如何在初始化时增加nvidia-docker的超时限制。

当我的 2 个或更多 4-GPU 服务器忙时，我总是收到超时错误：

nvidia-container-cli：初始化错误：驱动错误：超时

启动 docker 时：

docker run --runtime=nvidia --rm nvidia/cuda nvidia-smi

非常感谢您的帮助！

【问题讨论】：

【解决方案1】：

我不知道如何更改超时，但您可以通过预先启动 nvidia-persistenced 来解决此问题，这将初始化 GPU 设备并使其保持打开状态，因此驱动程序不必经历那个docker启动过程中的进程。

【讨论】：

【解决方案2】：

这不是问题的确切答案，而只是克服超时错误的解决方法。

在启动 docker 之前，运行 nvidia-smi 以查看哪些进程正在 GPU 上运行。使用以下方法禁用这些进程：

kill -TSTP [pid]

然后启动 docker。完成后继续使用之前禁用的进程：

kill -CONT [pid]

【讨论】：