CUDA JIT 编译器是否执行设备链接时优化？

Question

在 CUDA 11.2 中引入设备链接时优化 (DLTO) 之前，确保前向兼容性相对容易，而无需过多担心性能差异。您通常只需为您通常针对的特定架构创建一个包含 PTX 的胖二进制文件，用于可能的最低架构和 SASS。对于任何未来的 GPU 架构，JIT 编译器会将 PTX 组装成针对特定 GPU 架构优化的 SASS。

然而，现在，对于 DLTO，我不太清楚如何确保前向兼容性并在未来的架构上保持性能。

假设我使用 nvcc 使用以下选项编译/链接应用程序：

编译

-gencode=arch=compute_52,code=[compute_52,lto_52]
-gencode=arch=compute_61,code=lto_61

链接

-gencode=arch=compute_52,code=[sm_52,sm_61] -dlto

这将创建一个包含cc_52 的 PTX、sm_52 和 sm_61 的 LTO 中介以及 sm_52 和 sm_61 的链接时间优化的 SASS 的胖二进制文件（或者至少看起来是这种情况无论如何使用cuobjdump -all 转储生成的fatbin 部分时）。

假设以上是正确的，当应用程序在更高版本的 GPU 架构上运行时会发生什么（例如sm_70）？ JIT 编译器是否只是组装cc_52 PTX 而不使用链接时优化（导致不太优化的代码）？或者它是否使用链接时间优化以某种方式链接 LTO 中介？有没有办法确定/指导 JIT 编译器在做什么？

Answer 1

根据CUDA forums 上的一位 NVIDIA 员工的说法，答案是“还没有”：

好问题。我们正在努力支持 JIT LTO，但在 11.2 中不支持。因此，在您在 JIT 时间给出的示例中，它将 JIT 每个单独的 PTX 到 cubin，然后执行 cubin 链接。这与我们一直为 JIT 链接所做的相同。但我们应该在未来的版本中提供更多对 JIT LTO 的支持。