CUDA如何欺骗内核认为它在另一个线程中？

Question

我正在为 CUDA 内核函数编写一个包装器来管理线程分配，以隐藏 GPU 中的线程限制。 发生的情况是，由于 CUDA 有线程限制，用户将不得不编写一个程序来管理线程。我要做的是对用户隐藏线程限制，以便他可以在任意数量的线程中运行他的内核。

基本思路是这样的：

void launch_cuda_kernel_matrix(void (*func)(void*), void* param, unsigned int dim_x, unsigned int dim_y) {
    while (! all threads run) {
        do stuff ...
        fake_func<<max_x, max_y>>(func, param, current_run);
    }
}
void fake_func(void (*func)(void*), void* param, unsigned int current_run) {
    blockIdx.x = blockIdx.x (some math) current_run;
    threadIdx.x = threadIdx.x (some math) current run;
    func(param);
}

所以基本上我的计划是通过更改当前线程的线程和块索引来欺骗内核，然后从我的包装器中调用具有最大可用线程数的函数（我最终将我的架构概括为允许多个尺寸）

问题是，CUDA 不允许我更改线程和块索引。 有办法解决吗？

另外，将参数传递给 func 而不必诉诸 void* 的最佳方法是什么？

Answer 1

嗯，我认为总体上实现你的目标有点困难。 但是，从您的问题中，我可以得出结论，您的函数func 在线程之间没有数据依赖关系（每个线程都处理自己的部分并且与其他线程没有交互）。还假设func 处理 1 维（或者可能是 2）。由于这在 CUDA 中，您可以简单地运行大量线程，这在大多数情况下就足够了：

• 计算能力 1.x - 65535 x 1024 线程
• 计算能力 2.0+ - 65535 x 65535 x 65535 x 1024 个线程

另一种方法是将func签名更改为void (*func)(int i, void*)，因此该函数将处理i-th部分数据。对于多个维度，您还可以更改签名void (*func)(int i, int j, int k, void*)。我认为这应该更可取，因为 __device__ 函数也可以声明为 __host__ 并且您可以在 CPU 中并行运行它。

对于void* 问题，我可以推荐在 C++ 中使用模板（+可变参数模板），但在 C 中没关系。