CUDA：流抽象了什么？

Question

在 cuda C 编程指南中，流的定义非常抽象：一系列 cuda 操作，按照代码发出的顺序执行。

我对 Nvidia GPU 中指令如何执行的理解是：当内核启动时，块被分发到设备中的 SM。然后，经线（32 个线程的组）由 SM 中的经线调度程序调度，以便按经线方式处理指令。

1. 因此，如果两个内核在同一个流中启动，则第一个内核会在第二个内核之前处理（因为指令按照它们放入流中的顺序进行处理）。这是否意味着两个内核最终只使用一个内核的硬件资源？还是每个内核都有自己的资源，但第二个内核等待第一个内核完成？

2. 一般来说，流是如何在硬件中实现的？我假设它为 warp 调度程序提供了排序（但随后一个 warp 调度程序是基于每个 SM 的，那么这将如何允许多 SM 内核使用流？）。

Answer 1

CUDA 流只是一个队列，由 GPU 执行的操作。 通过 API 的每个函数都可以以异步方式发出 - CPU 代码继续执行，而指令等待独立于主机代码执行。尽管如此，它相对于队列/流中的其他指令同步执行。

如果您希望在 GPU 上异步执行多个操作，则需要两个或更多队列/流。例如，CUDA 手册中有一章介绍了如何将内核执行（第一个流）与内存传输（第二个流）混合。