【发布时间】：2019-12-17 08:32:45
【问题描述】：
我正在尝试使用 CUDA 作为 opencv-4.1.1 中提供的 dnn 模块的后端，我已经构建了启用 CUDA 的 opencv，nvidia 驱动程序和 CUDA 已正确放置在系统上，这里使用 manjaro 作为开发平台。
我正在尝试使用 cv2.dnn 模块加载预训练的 YOLOv3 权重，
net = cv2.dnn.readNetFromDarknet('yolov3.cfg', 'yolov3.weights')
但它使用 CPU 作为默认推理引擎，但我试图使用 GPU 作为后端 IE，来自官方 opencv 文档，我发现以下
DNN_TARGET_CPU
DNN_TARGET_OPENCL
DNN_TARGET_OPENCL_FP16
DNN_TARGET_MYRIAD
DNN_TARGET_FPGA
作为目标后端，但不支持直接GPU推理，如果不使用GPU作为底层推理引擎，那么用CUDA编译opencv有什么意义，
为了确保进程在 GPU 上运行，我发布了
nvidia-smi,
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 430.26 Driver Version: 430.26 CUDA Version: 10.2 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 GeForce GT 710 Off | 00000000:01:00.0 N/A | N/A |
| 40% 40C P0 N/A / N/A | 598MiB / 1998MiB | N/A Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| 0 Not Supported |
+-----------------------------------------------------------------------------+
GPU 利用率的进程 ID 为 0，显然意味着没有进程使用 GPU，任何指导将不胜感激。
【问题讨论】：
-
OpenCV 还可以利用 DNN 模块之外的 GPU，即透明 API。因此，有理由使用 cuda 支持进行编译。另外，如果你使用 OpenCL 作为后端会发生什么？这也应该使用 GPU。
-
@Timo 但这不能用于生产推理，因为需要以更高的 fps 运行模型，CUDA 比 opencl 做得更好，所以你能详细说明一下透明 API。跨度>
-
我明白了。我不习惯 DNN 模块，所以在这方面我无法为您提供帮助。透明 API 是大多数 OpenCV 函数的透明包装器（因此得名），允许它们在 GPU 上执行。我刚才说的是要指出 OpenCV 中有 cuda 的用途。但这与 DNN 模块无关。
-
目前，没有对 DNN 推理的 CUDA 支持。如果您需要在 GPU 上获得良好的性能，只需使用您首选的 DL 库（Tensorflow、PyTorch、MxNet、Chainer 等）。
-
@Timo OpenCL 后端在 CUDA GPU 上速度非常慢。 OpenCL 后端不支持所有层，因此，推理过程涉及在 OpenCL 和 CPU 后端之间切换（作为后备）。如果您使用集成显卡，这非常有用，但对于不共享主内存的设备来说会非常慢。 CUDA 设备和 CPU 之间的内存传输成本抵消了大多数可能获得的潜在加速。