UDP Receiver 需要在 udp sender 之前启动答案

【问题标题】：UDP Receiver needs to start before udp senderUDP Receiver 需要在 udp sender 之前启动
【发布时间】：2020-01-11 16:05:54
【问题描述】：

我正在尝试将视频从带有运行 Raspian Buster 的摄像头的树莓派 0w 发送到运行 Ubuntu 18.04 的机器。我正在使用 ffmpeg 在 raspi 端使用硬件编码为 h264，然后通过 UDP 使用gst-launch-1.0 发送数据。问题是，如果我启动 raspi 流，然后启动接收器，则接收器永远不会连接。如果我启动接收器然后启动 raspi 流，那么它们会完美连接。

Raspi 编码并发送命令：

ffmpeg -f video4linux2 -framerate 30 -video_size 1280x720 -i /dev/video0 -c:v h264_omx -b:v 2000k -f avi pipe:1 | gst-launch-1.0 --gst-debug=3 fdsrc ! udpsink host=192.168.1.142 port=8090

接收解码显示命令：

gst-launch-1.0 udpsrc port=8090 ! queue ! h264parse ! avdec_h264 ! xvimagesink sync=false

我查看了udpsink 和udpsrc 属性，并尝试使用buffer-size、blocksize 和sync，但没有运气。我还尝试使用 python 中的ffmpeg 来查看问题是否出在接收方，问题完全相同。


import cv2

cap = cv2.VideoCapture('udp://127.0.0.1:8090',cv2.CAP_FFMPEG)
if not cap.isOpened():
    print('VideoCapture not opened')
    exit(-1)

while True:
    ret, frame = cap.read()

    if not ret:
        print('frame empty')
        break

    cv2.imshow('image', frame)

    if cv2.waitKey(1)&0XFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

最后，我可能只是编写一个小协议，如果没有数据包通过，则切换发送方，但我希望 UDP 能更好地处理连接。

这个问题似乎很相似：UDP: Client started before Server 但没有解决我的问题，因为我对 gstreamer/ffmpeg 没有任何阻止能力。

【问题讨论】：

标签： ffmpeg udp gstreamer

【解决方案1】：

如果您想要随机访问，您需要定期发送 SPS/PPS 数据。如果你不这样做，这些数据只会在一开始就被发送。此信息对于解码 H.264 流至关重要。考虑在udpsink 之前添加h264parse 并将其配置为config-interval 属性。

【讨论】：

所以我在发送方上尝试了ffmpeg -f video4linux2 -video_size 1280x720 -i /dev/video0 -c:v h264_omx -b:v 2000k -f avi pipe:1 | gst-launch-1.0 --gst-debug=3 fdsrc ! h264parse config-interval=1 ! udpsink host=192.168.1.142 port=8090，现在如果接收方先启动它甚至都无法连接。从 ffmpeg 到 gstreamer 的管道数据是否存在问题？我也尝试使用 ffmpeg 发送像 ffmpeg -f video4linux2 -video_size 1280x720 -i /dev/video0 -c:v h264_omx -b:v 2000k -an -f mpegts udp://192.168.1.142:8090 这样的 udp，但现在到达的帧完全损坏了。
我很久没有尝试发送原始数据了。也许您想尝试将流封装到 RTP 中。一般来说，使用其中一种网络协议而不是发送原始协议是个好主意。

【解决方案2】：

你在正确的轨道上。以下是（稍作修改）您的ffmpeg 命令

ffmpeg -f video4linux2 -video_size 1280x720 -i /dev/video0 -c:v h264_omx -b:v 2000k -an -f mpegts udp://192.168.1.142:8090?pkt_size=1316

将视频包装到MPEG transport stream。请注意，我在末尾添加了pkt_size=1316，以强制 ffmpeg 通过发送相同大小的数据包进行 UDP 传输。这将有助于接收器赶上来，不会被溢出。

要通过 UDP 接受、解复用和解析 MPEG TS，您可以使用 GStreamer 命令

gst-launch-1.0 udpsrc port=8090 \
! queue max-size-buffers=10000000 max-size-time=5000000000 max-size-bytes=20000000 \
! tsdemux name=demux \
demux.video_0_0100 ! queue ! h264parse ! avdec_h264 ! autovideosink

demux.video_0_0100 通过它的 PID（视频 ID 作为基本流）从 MPEG TS 中获取解复用的视频。在接收方，您可以使用命令找到传入流的所有详细信息，包括 PIDs

gst-discoverer-1.0 -v -t 20 udp://0.0.0.0:8090

【讨论】：