我一直在运行 CUDA 程序的内核。我观察到 GPU 计数器报告的时间与内核执行的 NVVP 之间存在相当大的差异。为什么通常会观察到这种差异？
【问题讨论】：
标签： cuda
Nsight Visual Studio Edition 和 Visual Profiler 支持两种机制来捕获内核的持续时间。这两种方法都将导致比 CUevent/cudaEvent 报告的值更小、更准确。方法如下：
这是 Nsight 2.x 和 Visual Profiler 5.0 用来生成时间线的默认模式。内核的持续时间定义为从内核代码开始在设备上执行到完成的时间。这无法使用 CUDA 事件来衡量。
这是工具在为每个内核收集 PM 计数器时使用的默认模式。内核的持续时间定义为 GPU 处理启动请求直到内核完成后 GPU 空闲的时间。此模式专门禁用并发内核执行。在几乎所有情况下，报告的持续时间都将略大于并发内核跟踪持续时间，因为它包括 GPU 启动第一个块的时间和 GPU 完成所有内存存储的时间。
CUDA 事件计时是通过在内核在同一流上启动前后调用 cu/cudaEventRecord 来完成的。每个事件记录都会将一个命令插入 GPU 推送缓冲区。当命令到达 GPU 时，它会将时间戳写入内存。可以在不启动的情况下推送两个事件记录。这允许开发人员测量两个时间戳命令之间的 GPU 时间。这种方法有以下缺点，这就是为什么我鼓励开发人员使用这些工具（Nsight、Visual Profiler 和 CUPTI）：
湾。 GPU 可以在启动事件记录和内核执行之间进行上下文切换。
C。启动事件记录将包括启动开销，包括更新需要调整大小的驱动程序缓冲区的时间、复制参数、复制纹理绑定……
d。提交内核和结束事件记录之间经过的时间会影响时间。
e. GPU 可以在内核执行结束和结束事件记录之间进行上下文切换。
F。不正确地使用事件会破坏并发内核执行。
在每种模式中提供的持续时间将提供不同的值。此外，工具提供的持续时间定义与使用事件提供的持续时间定义不同。
NVIDIA 工具将持续时间尽可能定义为从 GPU 开始处理内核到 GPU 完成内核处理的时间。如果开发人员有兴趣收集这些信息，他们应该查看工具包中包含的 CUPTI SDK。
【讨论】：