如何将静态数据划分为多个 GPU？

Question

我想对一个大型数据集进行分区并将工作拆分到多个 GPU 上。我想让这些数据静态化，这样我就不必在第二次运行时加载到 GPU。现在的问题是，pthread_create 要求将所有输入数据组装成一个“结构”，我不确定将一堆静态数据组装成一个结构是否可行。感谢您的任何建议。

Answer 1

在“现代”CUDA 多 GPU 中，不再需要使用不同的主机线程来保存给定设备上的上下文。从 CUDA 4.0 开始，API 是线程安全的，一个主机线程可以简单地使用 cudaSetDevice 来保存和处理多个上下文。

关于如何在 CUDA 4.x 或 CUDA 5 中将大型数据集分布到多个 GPU 上的一个非常非常基本的示例，可以很简单：

int remainder = N;
int* plens = new int[ngpus];
float** pvals = new float*[ngpus];
float* source = &host_array[0];
for(int i=0; i<ngpus; i++) {
    const int blen = N/gpus;
    plens[i] = blen;
    remainder -= blen;
    if (remainder < blen) {
        plens[i] += remaninder;
        remainder = 0;
    }
    size_t sz = sizeof(float) * size_t(plens[i]);
    cudaSetDevice(i);
    cudaMalloc((void **)&pvals[i], sz);
    cudaMemcpy(pvals[i], source, sz, cudaMemcpyHostToDevice);
    source += plens[i];
}

[免责声明：用浏览器编写，从未编译或测试过，风险自负]

假设 GPU 从 [0,ngpus-1] 开始按顺序编号，并且源数据保存在长度为 N 的浮点数组 host_array 中。你在pvals 中得到一个设备指针数组，在plens 中得到每个数组的长度。请注意，每个指针仅在分配它的上下文中有效，因此请确保在将指针用于内核启动或 API 调用之前选择设备。