Pycuda 并发

Question

为什么PyCuda KernelConcurrency Example 中的代码在“并发”模式下不能运行得更快？我的 GPU 上似乎应该有足够的资源......我错过了什么？

这是“并发”版本的输出，第 63 行未注释：

=== Device attributes
Name: GeForce GTX 980
Compute capability: (5, 2)
Concurrent Kernels: True

=== Checking answers
Dataset 0 : passed.
Dataset 1 : passed.

=== Timing info (for last set of kernel launches)
Dataset 0
kernel_begin : 1.68524801731
kernel_end : 1.77305603027
Dataset 1
kernel_begin : 1.7144639492
kernel_end : 1.80246400833

这是第 63 行注释掉的版本。这应该不再同时运行，并且应该明显变慢。它在我看来几乎相同（两种情况下大约为 0.08 - 0.09）：

=== Device attributes
Name: GeForce GTX 980
Compute capability: (5, 2)
Concurrent Kernels: True

=== Checking answers
Dataset 0 : passed.
Dataset 1 : passed.

=== Timing info (for last set of kernel launches)
Dataset 0
kernel_begin : 1.20230400562
kernel_end : 1.28966403008
Dataset 1
kernel_begin : 1.21827197075
kernel_end : 1.30672001839

这里有什么我遗漏的吗？还有其他测试并发的方法吗？

Answer 1

真正了解并发内核执行情况的唯一方法是分析代码。

使用 wiki 上发布的内部内核启动循环：

# Run kernels many times, we will only keep data from last loop iteration.
for j in range(10):
    for k in range(n):
        event[k]['kernel_begin'].record(stream[k])
        my_kernel(d_data[k], block=(N,1,1), stream=stream[k]) 
    for k in range(n): # Commenting out this line should break concurrency.
        event[k]['kernel_end'].record(stream[k])

配置文件跟踪如下所示：

使用这样的内部内核启动循环（即内核结束事件未在其自己的循环内推送到流中：

# Run kernels many times, we will only keep data from last loop iteration.
for j in range(10):
    for k in range(n):
        event[k]['kernel_begin'].record(stream[k])
        my_kernel(d_data[k], block=(N,1,1), stream=stream[k]) 
#    for k in range(n): # Commenting out this line should break concurrency.
        event[k]['kernel_end'].record(stream[k])

我得到了这个个人资料：

即两个执行流中的内核仍然重叠。

所以两个示例之间的执行时间没有变化的原因是因为您所依赖的注释是错误的。这两种情况都会产生内核执行重叠（“并发”）。

我没有兴趣理解为什么会这样，但这是你困惑的根源。您需要在其他地方寻找 your code 中性能不佳的根源（显然它无论如何都不使用流，所以整个问题都是稻草人）。