重置单个 GPU 的内存使用情况

【问题标题】：reset memory usage of a single GPU重置单个 GPU 的内存使用情况
【发布时间】：2019-07-14 08:08:14
【问题描述】：

我可以访问 4 个 GPU（不是 root 用户）。其中一个 GPU（2 号）表现得很奇怪，它们是一些内存被阻塞，但功耗和温度非常低（好像没有任何东西在上面运行）。请参阅下图中nvidia-smi 的详细信息：

如何在不干扰其他 GPU 上运行的进程的情况下重置 GPU 2？

PS：我不是root用户，但我想我也可以抓住一些root用户。

【问题讨论】：

【解决方案1】：

重置 gpu 可以以某种方式解决您的问题，由于您的 GPU 配置，这可能是不可能的

nvidia-smi --gpu-reset -i "gpu ID"

例如，如果您使用 gpus 启用了 nvlink，它并不总是通过，而且您的情况似乎 nvidia-smi 无法找到在您的 gpu 上运行的进程，您的情况的解决方案是查找并杀死通过运行以下命令将进程与该 gpu 关联，使用您在 fuser 那里找到的 PID 填写 PID

fuser -v /dev/nvidia*

kill -9 "PID"

【讨论】：