通过 websocket 将 mp4 直播视频内容流式传输到 mediasource 元素

Question

我有许多与流式传输（通过 websockets）有关将 h264 视频广播到 mp4 容器内的 MediaSource 元素的问题：

• 我需要ftyp吗？如果我这样做，我是否需要它与moov 在同一个 Uint8Array 中？
• 我需要单独发送每个 mp4 盒子还是希望sourceBuffer.appendBuffer(data) 将它们整理出来？
• 我需要将moof 和mdat 一起发送还是应该在不同的电话中发送给sourceBuffer.appendBuffer(data)？
• 我是否需要任何其他类型的框，专门用于指示时间戳？
• 我是否需要向 MediaSource 元素指示何时开始播放附加的数据块？
• 我是否必须设置任何与持续时间/时间戳偏移相关的内容？
• moov 框中是否有我在尝试制作直播时应该注意的关键点？

Answer 1

moov 框是初始化段，它是必需的，因此解码器知道它需要解码什么，任何其他框都应该被忽略（从不尝试在初始化时包含片段，所以可能不允许这样做）所以不需要删除它们。

moof 和 mdat 框应附加在单个调用中（这些是段），不需要其他框。据我所知，moof 框中包含时间戳数据，因此无需添加任何其他内容。

基本上你很擅长moov [moof mdat]+的序列。