为什么没有为双打实现 atomicAdd？

Question

为什么没有将 atomicAdd() for doubles 明确实现为 CUDA 4.0 或更高版本的一部分？

来自CUDA programming guide 4.1的附录F第97页以下版本 atomicAdd 已实现。

int atomicAdd(int* address, int val);
unsigned int atomicAdd(unsigned int* address,
                       unsigned int val);
unsigned long long int atomicAdd(unsigned long long int* address,
                                 unsigned long long int val);
float atomicAdd(float* address, float val)

同样的页面继续给出一个用于双打的 atomicAdd 的小实现，如下所示 我刚刚开始在我的项目中使用它。

__device__ double atomicAdd(double* address, double val)
{
    unsigned long long int* address_as_ull =
                             (unsigned long long int*)address;
    unsigned long long int old = *address_as_ull, assumed;
    do {
        assumed = old;
old = atomicCAS(address_as_ull, assumed,
                        __double_as_longlong(val +
                               __longlong_as_double(assumed)));
    } while (assumed != old);
    return __longlong_as_double(old);
}

为什么不将上述代码定义为 CUDA 的一部分？

Answer 1

编辑：从 CUDA 8 开始，双精度 atomicAdd() 在 CUDA 中实现，并在 SM_6X (Pascal) GPU 中提供硬件支持。

目前，没有 CUDA 设备在硬件中支持 atomicAdd 和 double。 正如您所指出的，它可以在 64 位整数上以 atomicCAS 的形式实现，但是有一个不平凡的性能成本。

因此，CUDA 软件团队选择记录正确的实现作为开发人员的一个选项，而不是使其成为 CUDA 标准库的一部分。这样，开发人员就不会在不知不觉中选择他们不了解的性能成本。

旁白：我认为这个问题不应该以“不具建设性”的方式结束。我认为这是一个完全有效的问题，+1。