我有具有多个内核的 CUDA 程序在系列上运行（在同一个流中 - 默认值）。我想对整个程序进行性能分析，特别是 GPU 部分。我正在使用 nvprof 工具使用一些指标进行分析，例如 done_occupancy、inst_per_warp、gld_efficiency 等。
但是分析器为每个内核分别提供指标值，而我想为它们计算这些值以查看程序的 GPU 总使用量。 我应该为每个指标取所有内核的（平均值或最大值或总数）吗？
【问题讨论】：
标签： performance cuda nvprof
一种可能的方法是使用加权平均法。
假设我们的时间轴中有 3 个不重叠的内核。假设内核 1 运行 10 毫秒，内核 2 运行 20 毫秒，内核 3 运行 30 毫秒。在我们的整个应用程序时间线中，所有 3 个内核总共占用了 60 毫秒。
我们还假设分析器报告 gld_efficiency 指标如下：
kernel duration gld_efficiency
1 10ms 88%
2 20ms 76%
3 30ms 50%
您可以按如下方式计算加权平均值：
88*10 76*20 50*30
"overall" global load efficiency = ----- + ----- + ----- = 65%
60 60 60
我相信可能还有其他有意义的方法。例如，更好的方法可能是让分析器报告每个内核的全局加载事务的总数，并基于此而不是内核持续时间进行加权：
kernel gld_transactions gld_efficiency
1 1000 88%
2 2000 76%
3 3000 50%
88*1000 76*2000 50*3000
"overall" global load efficiency = ------- + ------- + ------- = 65%
6000 6000 6000
【讨论】：
gld_transactions，您必须决定要报告的内容。这里不只有一个可能的答案。例如，如果要报告应用程序消耗的全局负载事务总数，则只需将分析器报告的所有数字相加即可。但是，如果您想报告每个内核的平均全局加载事务，您应该将所有全局加载事务加在一起，并按内核调用的数量添加设备。可能它会因您想要汇总报告的每个指标而有所不同。我不会尝试为每个人拼出答案。