CL_DEVICE_LOCAL_MEM_SIZE 是针对整个设备还是针对每个工作组？

Question

我不太清楚CL_DEVICE_LOCAL_MEM_SIZE的实际含义，是通过clGetDeviceInfo函数获取的。这个值是表示某个设备上所有可用本地内存的总和，还是表示某个工作组的本地内存共享上限？

Answer 1

TL;DR：每个单个处理单元，因此也是分配给一个工作单元的最大值。

此值是设备中每个计算单元上可用的本地内存量。由于工作组被分配给单个计算单元，这也是任何工作组可以拥有的最大本地内存量。

出于许多 GPU 上的性能原因，通常希望在每个计算单元上同时运行多个工作组（例如，以隐藏内存访问延迟）。如果一个工作组使用了所有可用的本地内存，则设备将无法将任何其他工作组调度到同一计算单元上，直到它完成。如果可能，建议限制每个工作组使用的本地内存量（例如总本地内存的四分之一），以允许多个工作组同时在同一个计算单元上运行。