如何将 cuda 驱动程序 api 与 cuda 运行时 api 混合使用？

Question

来自cuda document 声明：

1. 如果通过驱动程序 API 创建上下文并使其成为当前上下文，则后续运行时调用将获取此上下文，而不是创建新上下文。
2. 如果运行时已初始化（在 CUDA 运行时中隐含提及），可使用 cuCtxGetCurrent() 检索初始化期间创建的上下文。后续驱动程序 API 调用可以使用此上下文。

我可以使第一点起作用。我可以从 cuda 驱动程序创建上下文。然后我可以使用 cuda 运行时函数而不调用 cudaSetDevice()，这会隐式创建一个新的主上下文。

但是，我想通过第二个选项工作。那就是先初始化运行时然后执行cuCtxGetCurrent() 并在 cuda 驱动程序 api 中使用它。这根本不起作用。我总是提出错误说上下文已被破坏或无效。我做错了什么？

这是我的示例代码：

#define CUDA_DRIVER_API
#include <cuda.h>
#include <cuda_runtime.h>
#include <helper_cuda.h>
#include <iostream>
CUcontext check_current_ctx()
{
    CUcontext context{0};
    unsigned int api_ver;
    checkCudaErrors(cuCtxGetCurrent(&context));
    fprintf(stdout, "current context=%p\n", context);
    checkCudaErrors( cuCtxGetApiVersion(context, &api_ver));
    fprintf(stdout, "current context api version = %d\n", api_ver);
    return context;
}
auto inital_runtime_context()
{
    int current_device = 0;
    int device_count = 0;
    int devices_prohibited = 0;
    CUcontext current_ctx{0};

    cudaDeviceProp deviceProp;
    checkCudaErrors(cudaGetDeviceCount(&device_count));;
    if (device_count == 0) {
        fprintf(stderr, "CUDA error: no devices supporting CUDA.\n");
        exit(EXIT_FAILURE);
    }

    // Find the GPU which is selected by Vulkan
    while (current_device < device_count) {
        cudaGetDeviceProperties(&deviceProp, current_device);
        if ((deviceProp.computeMode != cudaComputeModeProhibited)) {
            checkCudaErrors(cudaSetDevice(current_device));
            checkCudaErrors(cudaGetDeviceProperties(&deviceProp, current_device));
            printf("GPU Device %d: \"%s\" with compute capability %d.%d\n\n",
                current_device, deviceProp.name, deviceProp.major,
                deviceProp.minor);
            CUcontext current_ctx;
            cuCtxGetCurrent(&current_ctx);
            std::cout << "current_ctx=" << current_ctx << "\n";
            return current_device;

        } else {
            devices_prohibited++;
        }

        current_device++;
    }

    if (devices_prohibited == device_count) {
        fprintf(stderr,
            "CUDA error:"
            " No Vulkan-CUDA Interop capable GPU found.\n");
        exit(EXIT_FAILURE);
    }

    return -1;
}
void test_runtime_driver_op()
{
    inital_runtime_context();
    check_current_ctx();

}

它报告：

GPU Device 0: "GeForce RTX ..." with compute capability 7.5

current_ctx=0x6eb220
current context=0x6eb220
CUDA error at ... code=201(CUDA_ERROR_INVALID_CONTEXT) "cuCtxGetApiVersion(context, &api_ver)" 

Answer 1

您收到错误的原因是，至少在这种情况下，当您尝试使用驱动程序 API 绑定到上下文时，没有发生延迟运行时 API 上下文创建。确保您获得使用运行时创建的上下文的规范方法一直是

cudaSetDevice(current_device);
cudaFree(0);

文档在这一点上一直模棱两可，语义似乎随着时间的推移发生了微妙的变化，但这种调用一直对我有用。

Answer 2

@talonmies 的答案是正确的，从某种意义上说它会起作用，但是 - 如果你想从 driver 方面纠正问题，你可以尝试类似：

// ...
CUcontext check_current_ctx()
{
    CUcontext context{0};
    checkCudaErrors( cuCtxGetCurrent(&context) );
    CUdevice device;
    checkCudaErrors( cuCtxGetDevice(&device) );
    CUcontext primary_context;
    checkCudaErrors( cuDevicePrimaryCtxRetain(&primary_context, device) );
    unsigned int flags;
    int active;
    CUresult primary_state_check_result = 
        cuDevicePrimaryCtxGetState(device, unsigned &flags, &active);

    // etc. etc.
}

现在您可以检查了：

1. 当前设备的当前上下文是否是主要的（= 运行时 API 的上下文）。
2. 主上下文是否已初始化（通过比较 primary_state_check_result 与 CUDA_ERROR_DEINITIALIZED 和 CUDA_ERROR_NOT_INITIALIZED）。

然后尝试获取 API 版本。

---

我还应该提到，我编写了一个 C++ 包装层，它涵盖了两个驱动程序和运行时 API，并允许无缝使用这两者；请参阅 cuda-api-wrappers 库的 this branch。它们尚未发布（截至撰写本文时），但非常欢迎您试一试。