为什么CPU和GPU内存之间的数据交换如此缓慢？

Question

这是我第一次在 ARM 上使用 openCL（CPU：Qualcomm Snapdragon MSM8930，GPU：Adreno(TM)305）。

我发现使用 openCL 确实非常有效，但是 CPU 和 GPU 之间的数据交换需要太多时间，我无法成像。

这是一个例子：

cv::Mat mat(640,480,CV_8UC3,cv::Scalar(0,0,0));
cv::ocl::oclMat mat_ocl;

//cpu->gpu
mat_ocl.upload(mat);
//gpu->cpu
mat = (cv::Mat)mat_ocl;

就这样一张小图，上传选项需要10ms，下载选项需要20ms！这需要的时间太长了。

谁能告诉我这种情况正常吗？或者这里出了什么问题？

提前谢谢你！

添加：

我的打法是

clock_t start,end;
start=clock();
mat_ocl.upload(mat);
end = clock();
__android_log_print(ANDROID_LOG_INFO,"tag","upload time = %f s",(double)(end-start)/CLOCKS_PER_SEC);

实际上，我并没有完全使用 openCL，而是 openCV 中的 ocl 模块（尽管它说它们是相等的）。在阅读openCV文档时，我发现它只是告诉我们将cv::Mat转换为cv::ocl::oclMat（即从CPU上传到GPU的数据）来进行GPU计算，但我没有找到内存映射方法ocl 模块文档。

Answer 1

好吧，我在 openCV doc 中找到了一些有用的介绍：

在异构设备环境中，可能存在与数据传输相关的成本。例如，当数据需要从主机内存（CPU 可访问）移动到设备内存（离散 GPU 可访问）时，就会出现这种情况。在集成图形芯片的情况下，可能存在性能问题，这与从集成设备的 GPU“部分”或 CPU“部分”进行访问之间的内存一致性有关。为获得最佳性能，无论哪种情况，都建议您不要在 CPU 和离散 GPU 之间引入数据传输，算法管道的开头和结尾除外。

所以，这似乎解释了 CPU 和 GPU 之间的数据传输速度如此缓慢的原因。但我仍然不知道如何解决这个问题。

Answer 2

提供准确的测量方法和结果。

根据 ARM 平台（不是 Qcom）下的 OpenCL 开发经验，我可以说你不应该期望太多的读写操作。内存总线通常是 64 位的，加上 DDR3 不是那么快。

使用共享内存以获得优势 - 使用映射/取消映射而不是读取/写入。

P。 S. 实际运行时间测量，使用cl_event profiling：

cl_ulong getTimeNanoSeconds(cl_event event)
{
    cl_ulong start = 0, end = 0;

    cl_int ret = clWaitForEvents(1, &event);
    if (ret != CL_SUCCESS)
        throw(ret);

    ret = clGetEventProfilingInfo(
              event,
              CL_PROFILING_COMMAND_START,
              sizeof(cl_ulong),
              &start,
              NULL);
    if (ret != CL_SUCCESS)
        throw(ret);

    ret = clGetEventProfilingInfo(
              event,
              CL_PROFILING_COMMAND_END,
              sizeof(cl_ulong),
              &end,
              NULL);
    if (ret != CL_SUCCESS)
        throw(ret);

    return (end - start);
}