在 imx6 板上处理视频和传输的最佳方法是什么？

Question

最近，我正在尝试使用带有 imx6 处理器和 MIPI-CSI 摄像头的板来传输视频。

我们的目标是通过 RTP 协议传输视频 (1920x1080@30fps)，我们使用 gstreamer 管道来实现。要传输的命令管道是：

gst-launch-1.0 imxv4l2videosrc device=/dev/video1 imx-capture-mode=2 ! imxvpuenc_h264 quant-param=29 ! rtph264pay mtu=60000 ! udpsink host=10.42.0.1 port=5000 sync=false

该命令传输分辨率为 1920x108 的视频（imx-capture-mode=2 参数）。

我们使用以下命令从 PC (10.42.0.1) 捕获视频（通过端口 5000）：

gst-launch-1.0 -v udpsrc port=5000 ! application/x-rtp, media=video, clock-rate=90000, encoding-name=H264, payload=96 !  rtph264depay ! avdec_h264 ! fpsdisplaysink text-overlay=false sync=false &

而且视频的流动性非常好。

但是现在，我们要在视频传输之前对其进行处理，因为相机是在运动的，我们需要添加一些算法来减少由于晃动而产生的噪音。

换句话说，主要思想是：从摄像头获取视频->处理视频->传输到RTP。所有这些都使用带有 imx6 的开发板。

该板基于 linux yocto 项目，它具有启用了 gstreamer 插件的 opencv 3.1。我们的想法是使用opencv和gstreamer管道获取视频，处理并传输它......但首先我们做了一些测试，获取视频并在不处理它的情况下传输它，但是当我们从PC捕获视频时，它非常慢并且延迟了...

我们想知道这是否是实现我们目标的正确方法。这是我们正在使用的源代码：

#include <QCoreApplication>
#include <QDebug>
#include <opencv2/opencv.hpp>
#include <opencv2/video.hpp>

int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);
    cv::VideoCapture cap("imxv4l2videosrc device=/dev/video1 imx-capture-mode=2 ! videoconvert ! appsink");
    Q_ASSERT(cap.isOpened());
    if(!cap.isOpened())
    {
        qDebug() << "Error with the video capturer";
        a.exit(-1);
    }
    cv::Mat frame;
    cap >> frame; //Dummy read
    double frame_width=   cap.get(CV_CAP_PROP_FRAME_WIDTH);
    double frame_height=   cap.get(CV_CAP_PROP_FRAME_HEIGHT);

    cv::VideoWriter writer;
    writer.open("appsrc ! videoconvert ! imxvpuenc_h264 quant-param=29 ! rtph264pay mtu=60000 ! udpsink host=10.42.0.1 port=5000 sync=false",
                0,30,cv::Size(frame_width,frame_height));
    if(!writer.isOpened())
    {
        qDebug() << "Error video writer";
        a.exit(-1);
    }

    while(true) {

            cap.read(frame);

            if(frame.empty())
                break;

            writer.write(frame);
            cv::waitKey(33);
        }

    return a.exec();
}

Answer 1

我猜您的视频速度变慢的原因是视频格式转换。 OpenCv 从 gstreamer appsink 元素获取 BGR 格式化视频。如果您的imxv4l2videosrc 输出不同的格式（例如UYVY 或I420），videoconvert 元素将不得不进行大量计算。在某些情况下，这些计算会使用超过 100% 的 CPU，这会降低输入流的速度。

您可以通过在管道末尾添加 -v 来检查原始管道使用的格式。

gst-launch-1.0 imxv4l2videosrc device=/dev/video1 imx-capture-mode=2 ! imxvpuenc_h264 quant-param=29 ! rtph264pay mtu=60000 ! udpsink host=10.42.0.1 port=5000 sync=false -v

我们可以通过降低分辨率来测试视频转换是否会降低您的系统速度。您可以通过将分辨率降低到1280x720 或640x360 再试一次，然后检查您的CPU 使用率吗？

如果是这种情况，我们可以从imxv4l2videosrc 请求不同格式的输出。我没有使用过那个元素，我不知道它的功能。但是您可以使用gst-inspect-1.0 命令检查功能。

gst-inspect-1.0 imxv4l2videosrc

输出会有这样的部分

Pad Templates:
  SRC template: 'src'
    Availability: Always
    Capabilities:

      video/x-raw
                 format: { (string)RGB16, (string)BGR, (string)RGB, (string)GRAY8, (string)GRAY16_LE, (string)GRAY16_BE, (string)YVU9, (string)YV12, (string)YUY2, (string)YVYU, (string)UYVY, (string)Y42B, (string)Y41B, (string)YUV9, (string)NV12_64Z32, (string)NV24, (string)NV61, (string)NV16, (string)NV21, (string)NV12, (string)I420, (string)BGRA, (string)BGRx, (string)ARGB, (string)xRGB, (string)BGR15, (string)RGB15 }
                  width: [ 1, 32768 ]
                 height: [ 1, 32768 ]
              framerate: [ 0/1, 2147483647/1 ]

BGRx、“RGB”或“xRGB”等具有 B、G 和 R 通道的格式对您来说非常有用且快速。