如何使用同一个 GPU 设备在 SLURM 中定义多个 gres 资源？

Question

我正在运行使用很少 GPU 内存的机器学习 (ML) 作业。 因此，我可以在单个 GPU 上运行多个 ML 作业。

为此，我想在 gres.conf 文件中添加多行来指定相同的设备。 但是，slurm 守护进程似乎不接受这一点，服务返回：

fatal: Gres GPU plugin failed to load configuration

我是否缺少任何选项来完成这项工作？

或者使用 SLURM 以不同的方式实现这一目标？

这有点像这个，但这个似乎特定于某些启用编译的 CUDA 代码。似乎比我的一般情况（或至少据我了解）更具体的东西。 How to run multiple jobs on a GPU grid with CUDA using SLURM

Answer 1

我认为您不能超额订阅 GPU，因此我看到了两个选项：

1. 您可以配置CUDA Multi-Process Service 或
2. 将多个计算打包到具有一个 GPU 的单个作业中并并行运行。

Answer 2

除了@Marcus Boden 提到的与V100 类型卡相关的nVidia MPS，还有与A100 类型卡相关的Multi-Instance GPU。