在 cuda 中同步多个设备

Question

在CUDA的手册中，cudaStreamSynchronize(stream)的解释中提到了

阻塞直到流完成所有操作。如果为此设备设置了 cudaDeviceScheduleBlockingSync 标志，则主机线程将阻塞，直到流完成其所有任务。

我的问题是这个屏障阻止主机（即 multigpu 中的所有设备）完成流中所有先前发出的操作。我说的对吗？

那么cudaDeviceSynchronize() 在多 GPU 任务中呢？它阻止所有设备完成由cudaSetDevice(deviceid) 设置的设备上发出的所有任务，还是阻止主机完成之前在所有设备上发出的所有操作？

Answer 1

我找到了我的问题的答案，我在这里提到可能面临同样问题的人。我引用它来自programming guide of cuda

cudaDeviceSynchronize() 一直等待，直到所有主机线程的所有流中的所有前面的命令都完成。

cudaStreamSynchronize() 将流作为参数并等待，直到给定流中的所有先前命令都已完成。它可用于将主机与特定流同步，允许其他流继续在设备上执行。

cudaStreamWaitEvent() 将一个流和一个事件作为参数（有关事件的描述，请参阅事件），并在调用 cudaStreamWaitEvent() 后使添加到给定流的所有命令延迟执行，直到给定事件完成。

cudaStreamQuery() 为应用程序提供了一种方法来了解流中所有前面的命令是否已完成。