cuda：读取设备内存变量需要同步

Question

我正在 cuda 中运行一个迭代程序，该程序一直运行到收敛。正如这篇 SO 帖子 (Are cuda kernel calls synchronous or asynchronous) 中所说，从 CPU 的角度来看，cuda 内核是异步的。

在我的程序中，其中一个内核检查收敛并将布尔值返回给主机以进行读取。我想知道，我是否需要这样做

cudaDeviceSynchronize()

在读取布尔值之前？

Answer 1

这取决于您如何将布尔值返回给 CPU。 你在使用 cudaMemcpy 吗？ 如果是，那么您不必使用 cudaDeviceSynchronize()，因为 cudaMemcpy 将阻塞直到内核完成执行，然后将数据从 GPU 复制到 CPU。