用于 nvidia gpu 的 gstreamer 自定义插件

Question

我想开发一个gstreamer插件，可以使用显卡（NVIDIA RTX2xxx）的GPU提供的加速。目标是拥有一个快速的 gstreamer 管道来处理视频流，其中包括自定义过滤器。

经过两天的谷歌搜索，我找不到任何示例或提示。

1. 找到的最佳替代方法之一是使用“nvivafilter”，将 cuda 模块作为参数传递。但是，没有地方解释如何安装此插件或提供示例。最糟糕的是，它似乎可能特定于 Nvidia Jetson 硬件。

2. 另一种选择似乎在 opencv python 脚本中使用 gstreamer。但这意味着我不知道如何影响性能的混合。

3. 这个 gstreamer tutorial 讨论了几个库。但似乎过时了，没有提供细节。

4. RidgeRun 似乎有类似于“nvivafilter”的东西，但不是 FOSS。

有任何关于如何进行的示例或建议。

Answer 1

我建议您从安装 DS 5.0 开始，并探索提供的示例和应用程序。它建立在 Gstreamer 之上。 DeepstreamInstalation guide

安装很简单。您会发现已构建的自定义解析器。 您将需要安装以下内容：Ubuntu 18.04、GStreamer 1.14.1、NVIDIA driver 440 或更高版本、CUDA 10.2、TensorRT 7.0 或更高版本。

以下是运行具有 4 个流的应用的示例。 deepstream-app -c /opt/nvidia/deepstream/deepstream-5.0/samples/configs/deepstream-app/source4_1080p_dec_infer-resnet_tracker_sgie_tiled_display_int8.txt

DS 的优势在于所有视频管道都在 GPU 上进行了优化，包括解码和预处理。您始终可以仅在 opencv 旁边运行 Gstreamer，根据我的经验，这不是一个有效的实现。

构建自定义解析器： 解析器需要将原始张量数据从推理转换为检测对象周围边界框的 (x,y) 位置。此后处理算法将根据检测架构而有所不同。 如果使用 Deepstream 4.0、Transfer Learning Toolkit 1.0 和 TensorRT 6.0：按照存储库中的说明进行操作 https://github.com/NVIDIA-AI-IOT/deepstream_4.x_apps

如果使用 Deepstream 5.0、Transfer Learning Toolkit 2.0 和 TensorRT 7.0：继续遵循 https://github.com/NVIDIA-AI-IOT/deepstream_tlt_apps 的说明

资源：

1. 起始页：https://developer.nvidia.com/deepstream-sdk
2. 深流下载及资源：https://developer.nvidia.com/deepstream-getting-started
3. 快速入门手册：https://docs.nvidia.com/metropolis/deepstream/dev-guide/index.html
4. 将 TLT 模型与 Deepstream SDK 集成：https://github.com/NVIDIA-AI-IOT/deepstream_tlt_apps
5. 深流开发博客：https://devblogs.nvidia.com/building-iva-apps-using-deepstream-5.0/
6. 插件手册：https://docs.nvidia.com/metropolis/deepstream/plugin-manual/index.html
7. Deepstream 5.0 发行说明：https://docs.nvidia.com/metropolis/deepstream/DeepStream_5.0_Release_Notes.pdf
8. Transfer Learning Toolkit v2.0 发行说明：https://docs.nvidia.com/metropolis/TLT/tlt-release-notes/index.html
9. Transfer Learning Toolkit v2.0 入门指南：https://docs.nvidia.com/metropolis/TLT/tlt-getting-started-guide/index.html
10. Metropolis 文档：https://docs.nvidia.com/metropolis/
11. 张量RT：https://developer.nvidia.com/tensorrt
12. TensorRT 文档：https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html
13. TensorRT 开发博客：https://devblogs.nvidia.com/speeding-up-deep-learning-inference-using-tensorrt/
14. TensorRT 开源软件：https://github.com/NVIDIA/TensorRT
15. https://gstreamer.freedesktop.org/documentation/base/gstbasetransform.html?gi-language=cGood 运气。