在 Gstreamer C API 中对 videoscale 元素使用上限

Question

我正在尝试使用ximagesrc 从窗口中抓取视频并将其缩放到特定大小，然后以 H.264 编码并使用 RTP 流式传输到另一台机器。我在 C API 中实现了我的管道，它工作正常，除非我添加带有 capsfilter 的 videoscale 元素。

具体来说，我在理解如何正确使用videoscale 元素以及如何以编程方式将其与videoconvert 元素链接时遇到了问题。当我尝试使用capsfilter 连接videoconvert 和videoscale 元素以缩放到我想要的分辨率时，函数gst_element_link_filtered 返回false。

我的代码如下：

static gboolean
link_elements_with_filter (GstElement *element1, GstElement *element2)
{
  gboolean link_ok;
  GstCaps *caps;

  caps = gst_caps_from_string("video/x-raw,width=640,height=480,framerate=20/1");

  link_ok = gst_element_link_filtered (element1, element2, caps);
  gst_caps_unref (caps);

  if (!link_ok) {
      g_warning ("Failed to link element1 and element2!");
    }

  return link_ok;
}


int main(int argc, char *argv[]) {

(...)

 /* Create the elements */
  source = gst_element_factory_make ("ximagesrc", "source");
  converter = gst_element_factory_make ("videoconvert", "converter");
  scaler = gst_element_factory_make ("videoscale", "scaler");
  encoder = gst_element_factory_make("nvh264enc", "encoder");
  payloader = gst_element_factory_make("rtph264pay", "payloader");
  sink = gst_element_factory_make ("udpsink", "sink");

  g_object_set (source, "use-damage", FALSE, "xid", 0x5c0000c, NULL);
  g_object_set (encoder, "gop-size", 25, "rc-mode", 2, "bitrate", 2000, NULL);
  g_object_set (payloader, "config-interval", 1, NULL); 
  g_object_set (sink, "host", "172.17.25.248", "port", 5004, NULL);

  pipeline = gst_pipeline_new ("test-pipeline");

  if (!pipeline || !source || !converter || !encoder || !payloader || !sink) {
      g_printerr ("Not all elements could be created.\n");
      return -1;
  }


   gst_bin_add_many (GST_BIN (pipeline), source, converter, scaler, encoder, payloader, sink,   NULL);
   if ((gst_element_link (source, converter) && link_elements_with_filter(converter, scaler)
                                          && gst_element_link (scaler, encoder)
                                          && gst_element_link (encoder, payloader)
                                          && gst_element_link (payloader, sink)) != TRUE) {
    g_printerr ("Elements could not be linked.\n");
    gst_object_unref (pipeline);
    return -1;
}

(...)

当我运行这段代码时，我得到以下输出：

** (gst_server:55698): WARNING **: 11:21:57.315: Failed to link element1 and element2!
Elements could not be linked.
Process finished with exit code 255

所以我在连接 videoconvert 和 videoscale 元素时遇到问题。管道中元素的顺序是否有问题，或者我对大写字母的使用是否有问题？

谢谢。

编辑：

对应的gst-launch 管道（工作正常）如下所示：

gst-launch-1.0 ximagesrc use-damage=FALSE xid=0x5c0000c ! videoconvert ! videoscale ! video/x-raw,width=320,height=240 ! nvh264enc gop-size=25 rc-mode=cbr bitrate=2000 ! rtph264pay config-interval=1 ! udpsink host=172.X.X.X port=5001

然后我可以在客户端计算机上启动另一个gst-launch 管道并查看缩放后的视频。

编辑 2： 我设置了GST_DEBUG=5 并检查了调试输出。它说videoconvert 元素的源焊盘和capsfilter 元素的接收焊盘不兼容。媒体格式之间的转换似乎有问题。

0:00:00.175919763 57549 0x5578d0241800 DEBUG               GST_CAPS gstutils.c:3065:gst_pad_query_caps:<capsfilter0:sink> query returned video/x-raw, width=(int)640, height=(int)480, framerate=(fraction)20/1
0:00:00.175938538 57549 0x5578d0241800 DEBUG               GST_CAPS gstpad.c:2278:gst_pad_link_check_compatible_unlocked:<converter:src> src caps video/x-raw, format=(string)BGRx, width=(int)1247, height=(int)1573, framerate=(fraction)[ 1/2147483647, 2147483647/1 ], pixel-aspect-ratio=(fraction)1/1; video/x-raw, width=(int)1247, height=(int)1573, framerate=(fraction)[ 1/2147483647, 2147483647/1 ], pixel-aspect-ratio=(fraction)1/1, format=(string){ I420, YV12, YUY2, UYVY, AYUV, VUYA, RGBx, BGRx, xRGB, xBGR, RGBA, BGRA, ARGB, ABGR, RGB, BGR, Y41B, Y42B, YVYU, Y444, v210, v216, Y210, Y410, NV12, NV21, GRAY8, GRAY16_BE, GRAY16_LE, v308, RGB16, BGR16, RGB15, BGR15, UYVP, A420, RGB8P, YUV9, YVU9, IYU1, ARGB64, AYUV64, r210, I420_10BE, I420_10LE, I422_10BE, I422_10LE, Y444_10BE, Y444_10LE, GBR, GBR_10BE, GBR_10LE, NV16, NV24, NV12_64Z32, A420_10BE, A420_10LE, A422_10BE, A422_10LE, A444_10BE, A444_10LE, NV61, P010_10BE, P010_10LE, IYU2, VYUY, GBRA, GBRA_10BE, GBRA_10LE, BGR10A2_LE, GBR_12BE, GBR_12LE, GBRA_12BE, GBRA_12LE, I420_12BE, I420_12LE, I422_12BE, I422_12LE, Y444_12BE, Y444_12LE, GRAY10_LE32, NV12_10LE32, NV16_10LE32, NV12_10LE40 }
0:00:00.175947929 57549 0x5578d0241800 DEBUG               GST_CAPS gstpad.c:2280:gst_pad_link_check_compatible_unlocked:<capsfilter0:sink> sink caps video/x-raw, width=(int)640, height=(int)480, framerate=(fraction)20/1
0:00:00.175955981 57549 0x5578d0241800 DEBUG               GST_CAPS gstpad.c:2298:gst_pad_link_check_compatible_unlocked: caps are not compatible
0:00:00.175960969 57549 0x5578d0241800 INFO                GST_PADS gstpad.c:2434:gst_pad_link_prepare: caps are incompatible
0:00:00.175968231 57549 0x5578d0241800 INFO                GST_PADS gstpad.c:2529:gst_pad_link_full: link between converter:src and capsfilter0:sink failed: no common format

Answer 1

首先我建议使用gst_parse_launch()。您可以像通过gst-launch-1.0 运行一样为您的应用程序创建管道。然后，如果需要，您可以通过迭代或搜索来访问各个元素——不过，大部分内容都可以用管道字符串来描述。

为您的代码。您已经在定标器之前设置了上限。这意味着缩放器输入应该有这些上限。但是ximagesrc 定义了实际大小。如果它不是你给它的那个，它就会失败。

通常你想在编码器之前设置它，让元素找到它们的工作来找到满足上限的配置。例如：

ximagesrc ！视频转换！视频缩放！ xvideo/x-raw，格式=I420，宽度=640，高度=480，帧率=20/1！ nvh264enc ..

这里videoconvert 会知道它必须以某种方式从ximagesrc（通常是RGB 格式）转换为I420，而videoscale 将从ximagesrc 提供的任何分辨率缩放到640x480。建议ximagesrc 以 20 fps 的速度拍摄。