在应用程序运行期间是否可以激活/停用 Hyper-Q

【问题标题】：Is Hyper-Q activation/deactivation possible during application runtime在应用程序运行期间是否可以激活/停用 Hyper-Q
【发布时间】：2015-02-16 07:24:53
【问题描述】：

如您所知，从 CUDA 5.5 开始，Hyper-Q（在 NVIDIA GPU 上）允许多个 MPI 进程在单个 GPU 上同时运行，并根据资源可用性共享其资源。

Hyper-Q 可以在运行应用程序之前通过驱动程序命令（即 nvidia-cuda-mps-control -d ）激活。

考虑到 Hyper-Q 不一定有利于应用程序的性能（在某些情况下甚至会损害性能），是否有办法通过在其中插入一些驱动程序命令来停用 Hyper-Q（甚至激活它）应用程序？换句话说，是否可以在程序中启动 Hyper-Q（您知道的任何运行时/驱动程序命令）？

提前致谢，伊曼

【问题讨论】：

Hyper-Q 是 Kepler 一代 GPU 引入的一种 GPU 技术。 CUDA MPS（多进程服务器）是一个使用 Hyper-Q 的软件服务器/守护进程。我想你是在问 CUDA-MPS 是否可以打开/关闭。 Hyper-Q 无法开启/关闭。

标签： cuda gpu nvidia

【解决方案1】：

Hyper-Q 无法打开/关闭。这是hardware feature of Kepler cc3.5 and newer GPUs。

可以打开/关闭 CUDA MPS 服务器。开启和关闭它的方法在documentation 的第 4.1.1 节中有描述。简而言之，摘录：

nvidia-cuda-mps-control -d # Start daemon as a background process.

echo quit | nvidia-cuda-mps-control # Shut the daemon down.

没有什么可以阻止您从非 CUDA 应用程序发出这些命令（例如通过 system()）。

关于 CUDA 应用程序：

打开 CUDA MPS 服务器后，可以启动 CUDA 应用程序（或 MPI 进程）并“连接”到 MPS 服务器的实例。

一旦这些应用程序（或 MPI 进程）启动并连接到 MPS 服务器，MPS 服务器不应关闭，直到这些应用程序/进程终止。

因此，已启动并连接到 MPS 服务器的应用程序不应操纵该服务器的状态。

【讨论】：