C++ amp：异步传输数据并将数据保存在加速器上

Question

我有一个经常被调用的函数，它非常适合并行处理，所以我研究了 C++ amp 作为初学者。该函数接受三个输入：

1. 浮点数向量，即输入数据
2. 一个常数系数向量，在整个调用过程中保持不变
3. 一个输出向量，结果被写入其中。

现在显然，每次调用都必须将#1 复制到 GPU 上。为此，我使用了堆栈管理的 const 数组，它工作正常。

对于#2，最佳情况是以某种方式将向量保留在 GPU 内存中，因为它是恒定的。这可以使用amp吗？还是每次调用parallel_for_each时都必须复制它，类似于#1？

对于#3，是否可以在GPU上分配缓冲区并将其复制回来，而不是在cpu堆栈上创建一个空缓冲区，将其复制，并在将结果写入其中后将其复制回来？

最后一件事，因为 parallel_for_each 调用本质上是异步的 - 并且将被 #3 的析构函数或 array_view::synchronize() 同步，是否可以离开当前函数（和堆栈空间），做一些GPU 正在处理其他东西，然后在稍后“同步”？

它需要一个动态分配的 array_view 来避免 synchronize() 销毁，但是当我使用指针而不是堆栈管理的对象时，该函数似乎无法编译：

error C3581: unsupported type in amp restricted code
pointer or reference is not allowed as pointed to type, array element type or data member type (except reference to concurrency::array/texture)

另外，对于那些在 OpenCL 等其他架构方面经验丰富的人，我会在那儿有更好的运气吗？

Answer 1

1 - 是的。如果您将 const array_view 作为输入传递，它将不会被复制回主机内存。

std::vector<float> cpu_data(20000000, 0.0f);
array_view<const float, 1> cpu_data_view(cpu_data.size(), cpu_data);

2 - 根据你的系数数组有多大，你可以做几件事之一；

a - 将其存储在 parallel_for_each lambda 中的本地数组中。这很方便，但会耗尽（宝贵的）本地内存，因此只有在数组非常小时才可行。

array<float, 1> gpu_data(400);
std::vector<float> cpu_data(gpu_data.extent.size(), 1.0f);
copy(cpu_data.begin(), gpu_data);

在这种情况下，gpu_data 将可用于所有 AMP 代码，只要 lambda 捕获它。

b - 创建一个array 并在执行任何 AMP 代码之前将您的常量数据显式复制到其中。

c - 如果每个线程多次访问它，请考虑将其加载到tile_static 内存中。

3 -您仍然可以使用array_view 来保存您的输出数据，但在执行parallel_for_each 之前对其调用discard_data 将防止不必要地复制到GPU 内存。 p>

std::vector<float> cpu_output_data(20000000, 0.0f);
array_view<float, 1> output_data_view(cpu_output_data.size(), cpu_output_data);
output_data_view.discard_data();

**Async - ** 是的，完全可以做到这一点。您可以将 AMP 与 C++ 期货和异步操作结合起来，在 CPU（或另一个 GPU）上同时执行其他工作。请记住，CPU 参与控制 GPU 上的工作调度以及将数据移入和移出它。因此，如果 CPU 过载，GPU 性能可能会受到影响。

WRT 到您的编译器错误，如果不查看代码，很难判断问题所在。完全可以执行以下操作：

std::unique_ptr<concurrency::array_view<int, 2>> data_view;

您可能想看看examples covered in the C++ AMP book。它们在 CodePlex 上可用，涵盖了很多这样的场景。