cudaEventRecord() 在 Visual Studio CPU 代码上的时间不正确

Question

在做一些由 NVIDIA 制作的 CUDA 基本示例时，我复制了一些代码来测试从 CPU 到 GPU 计算的矩阵乘法加速。

查看结果 30 分钟后，看到我的 CPU（是的 CPU）的计算速度比我的 GPU 快 1000 倍，我意识到计时工作不正确。代码片段如下（这是来自 NVIDIA 的代码）：

//Create timers
cudaEvent_t start;
cudaEvent_t stop;
float simpleKernelTime;
float optimisedKernelTime;

//start timer
cudaEventCreate(&start);
cudaEventCreate(&stop);
cudaEventRecord(start, 0);

matrixMultKernel<<<grid, block >>>(a_d, b_d, c_d, N);

cudaEventRecord(stop, 0);
cudaEventSynchronize(stop);
cudaEventElapsedTime(&elapsedTime, start, stop);

// Print time and do other things

cudaEventRecord(start, 0);

matrixMultCPU(a_h, b_h, d_, N);

cudaEventRecord(stop, 0)
cudaEventSynchronize(stop);
cudaEventElapsedTime(&elapsedTime, start, stop);

// Print time

这段代码在 Linux 机器上运行良好（我复制了与我旁边的人相同的代码，他得到了很好的时机）但在装有 Visual Studio 2013 的 Windows 8 机器上，CPU 部分的时间（下半场）剪断的）不起作用（总是给出〜0.003ms）。

为什么会发生这种情况？我使用<time.h> 修复了它（删除cudaEventRecord() 调用并使用标准C 代码计时方法），所以我不想知道如何修复它，但更多的是为什么会发生这种情况。

Answer 1

据我了解，CUDA 事件本身并非旨在测量仅 CPU（仅主机）时间，而是用于测量内核执行和 CUDA API 调用。来自CUDA C Programming Guide3.2.5.6. 事件（强调我的）：

运行时还提供了一种密切监视设备的 进度，以及执行准确的计时，通过让 应用程序在程序中的任何点异步记录事件 并查询这些事件何时完成。

我也很惊讶您可以随时获得（内核启动是异步的），因为您的代码丢失了cudaEventSynchronize()：

cudaEventRecord(stop, 0);
cudaEventSynchronize(stop);
cudaEventElapsedTime(&elapsedTime, start, stop);

另见How to Implement Performance Metrics in CUDA C/C++。

对于仅 CPU 时间测量，请参阅 this thread。

编辑：

要获得matrixMultCPU() 的正确时间，您需要为start 事件添加同步：

cudaEventRecord(start, 0);
cudaEventSynchronize(start);