在python中基于opencv图像创建rtsp流

Question

我的目标是从 rtsp 服务器读取帧，对帧进行一些 opencv 操作，然后将操作后的帧写入新的 rtsp 服务器。

我根据Write in Gstreamer pipeline from opencv in python 尝试了以下操作，但我无法弄清楚创建 rtsp 服务器的适当 gst-launch-1.0 参数应该是什么。任何人都可以为 gst-launch-1.0 提供适当的论据吗？我试过的那些卡在“Pipeline is PREROLLING”中

import cv2

cap = cv2.VideoCapture("rtsp://....")

framerate = 25.0

out = cv2.VideoWriter('appsrc ! videoconvert ! '
  'x264enc noise-reduction=10000 speed-preset=ultrafast 
   tune=zerolatency ! '
  'rtph264pay config-interval=1 pt=96 !'
  'tcpserversink host=192.168.1.27 port=5000 sync=false',
  0, framerate, (640, 480))


counter = 0
while cap.isOpened():
  ret, frame = cap.read()
  if ret:
    out.write(frame)

    if cv2.waitKey(1) & 0xFF == ord('q'):
      break
  else:
    break

cap.release()
out.release()

我还尝试了基于Write opencv frames into gstreamer rtsp server pipeline的另一种解决方案

import cv2
import gi 

gi.require_version('Gst', '1.0')
gi.require_version('GstRtspServer', '1.0') 
from gi.repository import Gst, GstRtspServer, GObject

class SensorFactory(GstRtspServer.RTSPMediaFactory):
  def __init__(self, **properties): 
    super(SensorFactory, self).__init__(**properties) 
    #self.cap = cv2.VideoCapture(0)
    self.cap = cv2.VideoCapture("rtsp://....")
    self.number_frames = 0 
    self.fps = 30
    self.duration = 1 / self.fps * Gst.SECOND  # duration of a frame in nanoseconds 
    self.launch_string = 'appsrc name=source is-live=true block=true format=GST_FORMAT_TIME ' \
                         'caps=video/x-raw,format=BGR,width=640,height=480,framerate={}/1 ' \
                         '! videoconvert ! video/x-raw,format=I420 ' \
                         '! x264enc speed-preset=ultrafast tune=zerolatency ' \
                         '! rtph264pay config-interval=1 name=pay0 pt=96'.format(self.fps)

  def on_need_data(self, src, lenght):
    if self.cap.isOpened():
      ret, frame = self.cap.read()
      if ret:
        data = frame.tostring() 
        buf = Gst.Buffer.new_allocate(None, len(data), None)
        buf.fill(0, data)
        buf.duration = self.duration
        timestamp = self.number_frames * self.duration
        buf.pts = buf.dts = int(timestamp)
        buf.offset = timestamp
        self.number_frames += 1
        retval = src.emit('push-buffer', buf) 

        print('pushed buffer, frame {}, duration {} ns, durations {} s'.format(self.number_frames, self.duration, self.duration / Gst.SECOND)) 

        if retval != Gst.FlowReturn.OK: 
          print(retval) 

  def do_create_element(self, url): 
    return Gst.parse_launch(self.launch_string) 

  def do_configure(self, rtsp_media): 
    self.number_frames = 0 
    appsrc = rtsp_media.get_element().get_child_by_name('source') 
    appsrc.connect('need-data', self.on_need_data) 


class GstServer(GstRtspServer.RTSPServer): 
  def __init__(self, **properties): 
    super(GstServer, self).__init__(**properties) 
    self.factory = SensorFactory() 
    self.factory.set_shared(True) 
    self.get_mount_points().add_factory("/test", self.factory) 
    self.attach(None) 


GObject.threads_init() 
Gst.init(None) 

server = GstServer() 

loop = GObject.MainLoop() 
loop.run()

此解决方案会自行生成 rtsp 服务器并向其传输流。我可以在 VLC 中打开生成的 rtsp 流，但它会一直显示第一帧并且不会更新新帧。谁知道为什么？

我正在寻找任何解决方案，使我能够以低延迟将帧从 rtsp 服务器读取为 opencv 格式、操作帧并将帧输出到新的 rtsp 服务器（我还需要创建）。如果存在更好的解决方案，则无需基于 gstreamer。

我正在使用带有 python2.7 和 opencv 3.4.1 的 Ubuntu 16.04

Answer 1

没试过，但你可以试试：

将 nvv4l2h264enc 替换为 omxh264enc，因为它看起来更好。我很快对 UDP 流 9 进行了试验，发现在我的情况下 nvv4l2h264enc 使用的默认配置文件高于 omxh264enc，即使设置了最快的预设，它也失去了通过 UDP 的同步，而 omxh264enc 保持同步（也许我错过了一些选项）。 在 h264 编码器之后添加 h264parse 在 h264parse 和 rstpclientsink 之间添加 rtph264pay config-interval=1。 在appsrc 之后添加队列。 如果可行，请随时尝试删除任何无用的部分。

另请注意，如果升级您的 opencv 版本/构建，python 中的 VideoWriter API 可能已更改（第二个参数现在是使用的 API，例如 cv2.CAP_GSTREAMER 或 cv2.CAP_ANY），但似乎没有你的案子，因为你有一个工作案例。

希望我能帮上忙