每个线程共享的 Cuda 内存

Question

我今天开始使用 CUDA 进行冒险。我正在尝试在所有线程之间共享一个 unsigned int 。所有线程都会修改这个值。我使用 cudaMemcpy 将此值复制到设备。但是，最后当计算完成时，我收到这个值等于 0。

可能有多个线程同时写入这个变量？ 我不确定是否应该在线程开始写入时使用任何信号量或锁定此变量。

编辑：

很难说得更详细，因为我的问题通常是如何解决它。其实我没有写任何算法，只是测试CUDA。

但是，如果您愿意...我创建了包含一些值（无符号整数）的向量。我试图做一些事情，比如搜索大于给定共享值的值，但是当向量中的值更大时，我将向量元素加 1 并保存共享值。

看起来像这样：

__global__ void method(unsigned int *a, unsigned int *b, long long unsigned N) {
    int idx = blockIdx.x* blockDim.x+ threadIdx.x;
    if (a[idx]>*b && idx < N) 
        *b = a[idx]+1;
}

正如我所说，它不是有用的代码，仅用于测试，但我不知道该怎么做......

Answer 1

编辑 - 删除错误

虽然理想情况下您不想这样做 - 除非您可以确定所有线程都将花费大约相同的时间请参阅Cuda thread tutorial

Answer 2

如果该值在共享内存中，它将仅对在单个多处理器中运行的每个线程（即每个线程块）是本地的，而不是对为该内核运行的每个线程。如果您希望每个线程同时写入变量，您肯定需要执行原子操作（例如 atomicAdd 等）。 请注意，这将序列化所有并发线程请求以写入变量。

Answer 3

“我的问题通常是如何为每个线程使用全局共享内存。”

阅读你不需要任何特别的东西。你所做的工作，在 Fermi 设备上更快，因为它们有缓存，在其他设备上更慢。

如果您在其他线程更改后读取该值，则您无法等待所有线程完成其操作后再读取您想要的值，因此它可能不是您所期望的。在所有正在运行的线程之间同步全局内存中的值的唯一方法是使用不同的内核。更改要在所有线程之间共享的值后，内核完成并启动一个将使用共享值的新值。

要使每个线程都写入相同的内存位置，您必须使用原子操作，但请记住，您应该将原子操作保持在最低限度，因为这可以有效地序列化执行。

要了解可用的原子函数，请阅读 CUDA C 编程指南available here 的第 B.11 节。

你问的是：

__global__ void method(unsigned int *a, unsigned int *b, long long unsigned N) {
    int idx = blockIdx.x* blockDim.x+ threadIdx.x;
    if (a[idx]>*b && idx < N) 
        //*b = a[idx]+1;
        atomicAdd(b, a[idx]+1);
}