如何在 FFMPEG 4.1 中启用 LHLS？

Question

我正在尝试使用 FFMPEG 创建低延迟 CMAF 视频流。 为此，我想在 FFMPEG 中启用 lhls 选项，以便在 HLS 清单中写入 #EXT-X-PREFETCH 标签。

来自 FFMPEG 文档：

https://www.ffmpeg.org/ffmpeg-all.html

启用低延迟 HLS(LHLS)。添加 #EXT-X-PREFETCH 标记和当前 >segment 的 URI。 Apple 没有 LHLS 的官方规范。同时 >hls.js 播放器正在尝试标准化开放的 LHLS 规范。 >draft spec 在https://github.com/video-dev/hlsjs->rfcs/blob/lhls-spec/proposals/0001-lhls.md 这个选项也将尝试>遵守上面的开放规范，直到Apple的规范正式>支持它。仅在启用流和 hls_playlist 选项> 时适用。这是一个实验性功能。

我在 FFMPEG 4.1 中使用以下命令：

ffmpeg -re -i ~/Documents/videos/BigBuckBunny.mp4 \
    -map 0 -map 0 -map 0 -c:a aac -c:v libx264 -tune zerolatency \
    -b:v:0 2000k -s:v:0 1280x720 -profile:v:0 high \
    -b:v:1 1500k -s:v:1 640x340  -profile:v:1 main \
    -b:v:2 500k -s:v:2 320x170  -profile:v:2 baseline \
    -bf 1 \
    -keyint_min 24 -g 24 -sc_threshold 0 -b_strategy 0 -ar:a:1 22050 -use_timeline 1 -use_template 1 \
    -window_size 5 -adaptation_sets "id=0,streams=v id=1,streams=a" \
    -hls_playlist 1 -seg_duration 1 -streaming 1  -strict experimental -lhls 1 -remove_at_exit 1 \
    -f dash manifest.mpd

我为特定分辨率获得的 HLS 清单类型：

#EXTM3U
#EXT-X-VERSION:6
#EXT-X-TARGETDURATION:1
#EXT-X-MEDIA-SEQUENCE:8
#EXT-X-MAP:URI="init-stream0.mp4"
#EXTINF:0.998458,
#EXT-X-PROGRAM-DATE-TIME:2019-06-21T18:13:56.966+0900
chunk-stream0-00008.mp4
#EXTINF:0.998458,
#EXT-X-PROGRAM-DATE-TIME:2019-06-21T18:13:57.964+0900
chunk-stream0-00009.mp4
#EXTINF:0.998458,
#EXT-X-PROGRAM-DATE-TIME:2019-06-21T18:13:58.963+0900
chunk-stream0-00010.mp4
#EXTINF:0.998458,
#EXT-X-PROGRAM-DATE-TIME:2019-06-21T18:13:59.961+0900
chunk-stream0-00011.mp4
#EXTINF:1.021678,
#EXT-X-PROGRAM-DATE-TIME:2019-06-21T18:14:00.960+0900
chunk-stream0-00012.mp4
...

如您所见，#EXT-X-PREFETCH 标签不见了。

任何帮助将不胜感激。

编辑

我还通过执行以下操作从其主分支编译了 FFmpeg：

纳斯姆

sudo apt-get install nasm mingw-w64

编解码器

sudo apt-get install libx265-dev libnuma-dev libx264-dev libvpx-dev libfdk-aac-dev libmp3lame-dev libopus-dev

FFmpeg

mkdir lhls
cd lhls 
git init 
git clone https://github.com/FFmpeg/FFmpeg.git
cd FFmpeg 
git checkout master

AOM（在 FFmpeg 目录内）

git -C aom pull 2> /dev/null || git clone --depth 1 https://aomedia.googlesource.com/aom && \
mkdir -p aom_build && \
cd aom_build && \
PATH="$HOME/bin:$PATH" cmake -G "Unix Makefiles" -DCMAKE_INSTALL_PREFIX="$HOME/ffmpeg_build" -DENABLE_SHARED=off -DENABLE_NASM=on ../aom && \
PATH="$HOME/bin:$PATH" make && \
make install
cd..

编译

PATH="$HOME/bin:$PATH" PKG_CONFIG_PATH="$HOME/ffmpeg_build/lib/pkgconfig" ./configure \
  --prefix="$HOME/ffmpeg_build" \
  --pkg-config-flags="--static" \
  --extra-cflags="-I$HOME/ffmpeg_build/include" \
  --extra-ldflags="-L$HOME/ffmpeg_build/lib" \
  --extra-libs="-lpthread -lm" \
  --bindir="$HOME/bin" \
  --enable-gpl \
  --enable-libaom \
  --enable-libass \
  --enable-libfdk-aac \
  --enable-libfreetype \
  --enable-libmp3lame \
  --enable-libopus \
  --enable-libvorbis \
  --enable-libvpx \
  --enable-libx264 \
  --enable-libx265 \
  --enable-nonfree && \
PATH="$HOME/bin:$PATH" make 

不幸的是，#EXT-X-PREFETCH 在 HLS 清单中仍然缺失。

我还尝试从 https://ffmpeg.zeranoe.com/builds/ 进行夜间构建，结果相同。

任何帮助将不胜感激。

编辑 2：已解决

感谢@aergistal 和@Gyan，#EXT-X-PREFETCH 标签现在出现在我的 HLS 清单中。

这里是我使用的 FFMPEG 命令：

./ffmpeg -re -i ~/videos/BigBuckBunny.mp4 -loglevel debug \
  -map 0 -map 0 -map 0 -c:a aac -c:v libx264 -tune zerolatency \
  -b:v:0 2000k -s:v:0 1280x720 -profile:v:0 high -b:v:1 1500k -s:v:1 640x340  -profile:v:1 main -b:v:2 500k -s:v:2 320x170  -profile:v:2 baseline -bf 1 \
 -keyint_min 24 -g 24 -sc_threshold 0 -b_strategy 0 -ar:a:1 22050 -use_timeline 1 -use_template 1 -window_size 5 \
 -adaptation_sets "id=0,streams=v id=1,streams=a" -hls_playlist 1 -seg_duration 3 -streaming 1 \
 -strict experimental -lhls 1 -remove_at_exit 0 -master_m3u8_publish_rate 3 \
 -f dash -method PUT -http_persistent 1  https://example.com/manifest.mpd

显然 mime 类型没有传递给服务器 & FFmpeg 似乎忽略了-headers 选项。

Answer 1

在当前实现中，lhls 选项不适用于文件输出。如果您使用 HTTP 等其他协议，它会起作用：

-f dash -method PUT http://example.com/live/manifest.mpd

见dash_write_packetdashenc.c：

int use_rename = proto && !strcmp(proto, "file");
...
if (c->lhls) {
    char *prefetch_url = use_rename ? NULL : os->filename;
    write_hls_media_playlist(os, s, pkt->stream_index, 0, prefetch_url);
}

Answer 2

我知道这个帖子有 18 个月的历史，但我一直在用它来试验 ffmpeg 中的 -lhls 支持。我已经使用@medhi.r 帖子作为路线图设置了一个测试工具，但我没有在我的清单中看到 EXT-X-PREFETCH（正如他在上面提到的那样）。

我已尝试复制尽可能多的适用设置，但仍然没有看到额外的条目。

我真的没有答案，但我认为其他人可能正在对此进行调查，并想在唯一能帮助我做到这一点的线程之一上发帖。

这是我对 ffmpeg 的参数列表（我今天早上从 git 新拉取的内容）：

ffmpeg -r 25 -re -i pipe:0 -y -an -vcodec copy \
-seg_duration 3 -window_size 5  -init_seg_name init.m4s \
-media_seg_name '$Time$-$Number$.m4s'  \
-strict experimental -streaming 1 -hls_playlist 1 -tune zerolatency -lhls 1 -master_m3u8_publish_rate 3 \
-f dash -method PUT -http_persistent 1  http://192.168.xx.xx:yyyy/camera/manifest.mpd

我希望使用 lhls 将延迟降低到 2 秒左右，但我并没有真正看到延迟有任何减少，一直在 12-15 秒左右。我正在使用它来传输来自系统摄像头的视频。