libavcodec/libx264 不产生 B 帧

【问题标题】：libavcodec/libx264 do not produce B-frameslibavcodec/libx264 不产生 B 帧
【发布时间】：2013-10-27 17:10:07
【问题描述】：

我正在用 C++ 编写一个应用程序，它使用 libavcodec 和 libx264 来编码视频。然而，编码数据最终比我预期的要大得多。我分析了结果，发现我的编码从来没有产生 B 帧，只有 I 帧和 P 帧。

我基于 ffmpeg 源代码和示例创建了一个独立实用程序来测试我的编码器设置。它读入 H.264 文件，重新编码解码帧，并将结果输出到使用 ITU H.264 Annex B 格式的文件。我还使用 ffmpeg 执行相同的操作，以便与已知的良好实现进行比较。我的实用程序从不输出 B 帧，而 ffmpeg 会。

从那以后，我试图弄清楚 ffmpeg 做了哪些我的代码没有做的事情。我首先尝试手动指定与 B 帧相关的编码器设置。这没有效果。

然后我尝试在 gdb 下运行 ffmpeg 和我的实用程序，并在打开编码器并手动设置任何看起来不同的字段之前比较 AVStream、AVCodecContext 和 X264Context 的内容。即使使用相同的设置，我仍然只生成 I 帧和 P 帧。

最后，我认为问题可能出在我的时间戳处理上。我重新设计了我的测试实用程序来模拟 ffmpeg 使用的管道，并像 ffmpeg 一样输出时间戳调试输出。即使我的时间戳与 ffmpeg 相同，我仍然没有得到 B 帧。

在这一点上，我不知道还能尝试什么。当我运行 ffmpeg 时，我使用下面的命令行运行它。请注意，除了“超快”预设之外，我几乎都使用默认值。

ffmpeg -v debug -i ~/annexb.264 -codec:v libx264 -preset superfast -g 30 -f h264 ./out.264

下面列出了配置编码器的代码。它也指定了“超快”预设。

static AVStream *add_video_stream(AVFormatContext *output_ctx, AVCodec **output_codec, enum AVCodecID codec_id)
{
    *output_codec = avcodec_find_encoder(codec_id);
    if (*output_codec == NULL) {
        printf("Could not find encoder for '%s' (%d)\n", avcodec_get_name(codec_id), codec_id);
        return NULL;
    }

    AVStream *output_stream = avformat_new_stream(output_ctx, *output_codec);
    if (output_stream == NULL) {
        printf("Could not create video stream.\n");
        return NULL;
    }
    output_stream->id = output_ctx->nb_streams - 1;
    AVCodecContext *codec_ctx = output_stream->codec;

    avcodec_get_context_defaults3(codec_ctx, *output_codec);

    codec_ctx->width = 1280;
    codec_ctx->height = 720;

    codec_ctx->time_base.den = 15000;
    codec_ctx->time_base.num = 1001;

/*    codec_ctx->gop_size = 30;*/
    codec_ctx->pix_fmt = AV_PIX_FMT_YUVJ420P;

    // try to force B-frame output
/*    codec_ctx->max_b_frames = 3;*/
/*    codec_ctx->b_frame_strategy = 2;*/

    output_stream->sample_aspect_ratio.num = 1;
    output_stream->sample_aspect_ratio.den = 1;

    codec_ctx->sample_aspect_ratio.num = 1;
    codec_ctx->sample_aspect_ratio.den = 1;

    codec_ctx->chroma_sample_location = AVCHROMA_LOC_LEFT;

    codec_ctx->bits_per_raw_sample = 8;

    if ((output_ctx->oformat->flags & AVFMT_GLOBALHEADER) != 0) {
        codec_ctx->flags |= CODEC_FLAG_GLOBAL_HEADER;
    }

    return output_stream;
}


int main(int argc, char **argv)
{
    // ... open input file 

    avformat_alloc_output_context2(&output_ctx, NULL, "h264", output_path);
    if (output_ctx == NULL) {
        fprintf(stderr, "Unable to allocate output context.\n");
        return 1;
    } 

    AVCodec *output_codec = NULL;
    output_stream = add_video_stream(output_ctx, &output_codec, output_ctx->oformat->video_codec);
    if (output_stream == NULL) {
        fprintf(stderr, "Error adding video stream to output context.\n");
        return 1;
    }
    encode_ctx = output_stream->codec;

    // seems to have no effect
#if 0
    if (decode_ctx->extradata_size != 0) {
        size_t extradata_size = decode_ctx->extradata_size;
        printf("extradata_size: %zu\n", extradata_size);
        encode_ctx->extradata = av_mallocz(extradata_size + FF_INPUT_BUFFER_PADDING_SIZE);
        memcpy(encode_ctx->extradata, decode_ctx->extradata, extradata_size);
        encode_ctx->extradata_size = extradata_size;
    }
#endif // 0

    AVDictionary *opts = NULL;
    av_dict_set(&opts, "preset", "superfast", 0);
    // av_dict_set(&opts, "threads", "auto", 0); // seems to have no effect

    ret = avcodec_open2(encode_ctx, output_codec, &opts);
    if (ret < 0) {
        fprintf(stderr, "Unable to open output video cocec: %s\n", av_err2str(ret));
        return 1;
    }

    // ... decoding/encoding loop, clean up, etc.

    return 0;
}

我的测试实用程序产生以下调试输出，您可以在其中看到没有产生 B 帧：

[libx264 @ 0x1b8c9c0] using mv_range_thread = 56
[libx264 @ 0x1b8c9c0] using SAR=1/1
[libx264 @ 0x1b8c9c0] using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2 AVX
[libx264 @ 0x1b8c9c0] profile High, level 3.1
Output #0, h264, to './out.264':
    Stream #0:0, 0, 1/90000: Video: h264, yuvj420p, 1280x720 [SAR 1:1 DAR 16:9], 1001/15000, q=-1--1, 90k tbn, 14.99 tbc

<SNIP>

[libx264 @ 0x1b8c9c0] frame=   0 QP=17.22 NAL=3 Slice:I Poc:0   I:3600 P:0    SKIP:0    size=122837 bytes
[libx264 @ 0x1b8c9c0] frame=   1 QP=18.03 NAL=2 Slice:P Poc:2   I:411  P:1825 SKIP:1364 size=25863 bytes
[libx264 @ 0x1b8c9c0] frame=   2 QP=17.03 NAL=2 Slice:P Poc:4   I:369  P:2159 SKIP:1072 size=37880 bytes
[libx264 @ 0x1b8c9c0] frame=   3 QP=16.90 NAL=2 Slice:P Poc:6   I:498  P:2330 SKIP:772  size=50509 bytes
[libx264 @ 0x1b8c9c0] frame=   4 QP=16.68 NAL=2 Slice:P Poc:8   I:504  P:2233 SKIP:863  size=50791 bytes
[libx264 @ 0x1b8c9c0] frame=   5 QP=16.52 NAL=2 Slice:P Poc:10  I:513  P:2286 SKIP:801  size=51820 bytes
[libx264 @ 0x1b8c9c0] frame=   6 QP=16.49 NAL=2 Slice:P Poc:12  I:461  P:2293 SKIP:846  size=51311 bytes
[libx264 @ 0x1b8c9c0] frame=   7 QP=16.65 NAL=2 Slice:P Poc:14  I:476  P:2287 SKIP:837  size=51196 bytes
[libx264 @ 0x1b8c9c0] frame=   8 QP=16.66 NAL=2 Slice:P Poc:16  I:508  P:2240 SKIP:852  size=51577 bytes
[libx264 @ 0x1b8c9c0] frame=   9 QP=16.55 NAL=2 Slice:P Poc:18  I:477  P:2278 SKIP:845  size=51531 bytes
[libx264 @ 0x1b8c9c0] frame=  10 QP=16.67 NAL=2 Slice:P Poc:20  I:517  P:2233 SKIP:850  size=51946 bytes

<SNIP>

[libx264 @ 0x1b8c9c0] frame I:7     Avg QP:13.71  size:152207
[libx264 @ 0x1b8c9c0] frame P:190   Avg QP:16.66  size: 50949
[libx264 @ 0x1b8c9c0] mb I  I16..4: 27.1% 30.8% 42.1%
[libx264 @ 0x1b8c9c0] mb P  I16..4:  6.8%  6.0%  0.8%  P16..4: 61.8%  0.0%  0.0%  0.0%  0.0%    skip:24.7%
[libx264 @ 0x1b8c9c0] 8x8 transform intra:41.2% inter:86.9%
[libx264 @ 0x1b8c9c0] coded y,uvDC,uvAC intra: 92.2% 28.3% 5.4% inter: 50.3% 1.9% 0.0%
[libx264 @ 0x1b8c9c0] i16 v,h,dc,p:  7%  7% 77%  8%
[libx264 @ 0x1b8c9c0] i8 v,h,dc,ddl,ddr,vr,hd,vl,hu:  7% 15% 49%  6%  4%  3%  5%  3%  8%
[libx264 @ 0x1b8c9c0] i4 v,h,dc,ddl,ddr,vr,hd,vl,hu: 19% 25% 24%  6%  7%  4%  6%  3%  6%
[libx264 @ 0x1b8c9c0] i8c dc,h,v,p: 72% 14% 10%  4%
[libx264 @ 0x1b8c9c0] Weighted P-Frames: Y:0.0% UV:0.0%
[libx264 @ 0x1b8c9c0] kb/s:6539.11

另一方面，ffmpeg 产生以下几乎相同但包含 B 帧的输出：

[libx264 @ 0x20b9c40] using mv_range_thread = 56
[libx264 @ 0x20b9c40] using SAR=1/1
[libx264 @ 0x20b9c40] using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2 AVX
[libx264 @ 0x20b9c40] profile High, level 3.1
[h264 @ 0x20b8160] detected 4 logical cores
Output #0, h264, to './out.264':
  Metadata:
    encoder         : Lavf54.63.104
    Stream #0:0, 0, 1/90000: Video: h264, yuvj420p, 1280x720 [SAR 1:1 DAR 16:9], 1001/15000, q=-1--1, 90k tbn, 14.99 tbc
Stream mapping:
  Stream #0:0 -> #0:0 (h264 -> libx264)

<SNIP>

[libx264 @ 0x20b9c40] frame=   0 QP=17.22 NAL=3 Slice:I Poc:0   I:3600 P:0    SKIP:0    size=122835 bytes
[libx264 @ 0x20b9c40] frame=   1 QP=18.75 NAL=2 Slice:P Poc:8   I:984  P:2045 SKIP:571  size=54208 bytes
[libx264 @ 0x20b9c40] frame=   2 QP=19.40 NAL=2 Slice:B Poc:4   I:447  P:1581 SKIP:1572 size=24930 bytes
[libx264 @ 0x20b9c40] frame=   3 QP=19.78 NAL=0 Slice:B Poc:2   I:199  P:1002 SKIP:2399 size=10717 bytes
[libx264 @ 0x20b9c40] frame=   4 QP=20.19 NAL=0 Slice:B Poc:6   I:204  P:1155 SKIP:2241 size=15937 bytes
[libx264 @ 0x20b9c40] frame=   5 QP=18.11 NAL=2 Slice:P Poc:16  I:990  P:2221 SKIP:389  size=64240 bytes
[libx264 @ 0x20b9c40] frame=   6 QP=19.35 NAL=2 Slice:B Poc:12  I:439  P:1784 SKIP:1377 size=34048 bytes
[libx264 @ 0x20b9c40] frame=   7 QP=19.88 NAL=0 Slice:B Poc:10  I:275  P:1035 SKIP:2290 size=16911 bytes
[libx264 @ 0x20b9c40] frame=   8 QP=19.91 NAL=0 Slice:B Poc:14  I:257  P:1270 SKIP:2073 size=19172 bytes
[libx264 @ 0x20b9c40] frame=   9 QP=17.90 NAL=2 Slice:P Poc:24  I:962  P:2204 SKIP:434  size=67439 bytes
[libx264 @ 0x20b9c40] frame=  10 QP=18.84 NAL=2 Slice:B Poc:20  I:474  P:1911 SKIP:1215 size=37742 bytes

<SNIP>

[libx264 @ 0x20b9c40] frame I:7     Avg QP:15.95  size:130124
[libx264 @ 0x20b9c40] frame P:52    Avg QP:17.78  size: 64787
[libx264 @ 0x20b9c40] frame B:138   Avg QP:19.32  size: 26231
[libx264 @ 0x20b9c40] consecutive B-frames:  6.6%  0.0%  0.0% 93.4%
[libx264 @ 0x20b9c40] mb I  I16..4: 30.2% 35.2% 34.6%
[libx264 @ 0x20b9c40] mb P  I16..4: 13.9% 11.4%  0.3%  P16..4: 60.4%  0.0%  0.0%  0.0%  0.0%    skip:13.9%
[libx264 @ 0x20b9c40] mb B  I16..4:  5.7%  3.3%  0.0%  B16..8: 15.8%  0.0%  0.0%  direct:25.7%  skip:49.5%  L0:43.2% L1:37.3% BI:19.5%
[libx264 @ 0x20b9c40] 8x8 transform intra:39.4% inter:77.2%
[libx264 @ 0x20b9c40] coded y,uvDC,uvAC intra: 90.7% 26.6% 3.0% inter: 34.0% 4.1% 0.0%
[libx264 @ 0x20b9c40] i16 v,h,dc,p:  7%  7% 77%  9%
[libx264 @ 0x20b9c40] i8 v,h,dc,ddl,ddr,vr,hd,vl,hu:  7% 16% 51%  5%  4%  3%  5%  3%  7%
[libx264 @ 0x20b9c40] i4 v,h,dc,ddl,ddr,vr,hd,vl,hu: 22% 27% 20%  6%  6%  3%  6%  3%  6%
[libx264 @ 0x20b9c40] i8c dc,h,v,p: 71% 15% 11%  3%
[libx264 @ 0x20b9c40] Weighted P-Frames: Y:0.0% UV:0.0%
[libx264 @ 0x20b9c40] kb/s:4807.16

我确定我错过了一些简单的东西，但我一辈子都看不到它是什么。任何帮助将不胜感激。

【问题讨论】：

    标签： c++ encoding ffmpeg libavcodec libx264


    【解决方案1】：

    经过多次调试，我终于找到了解决方案。问题不在于上面列出的流和编码器设置，而在于我如何将帧传递给编码器。

    由于我只是尝试对数据进行转码，因此我只是拍摄解码器发出的照片并将它们传递给编码器。但是，解码器将其生成的AVFrame structures 的pict_type 值设置为AV_PICTURE_TYPE_P。反过来，编码器使用pict_type 值来确定要生成的帧的类型。因此，编码器只生成 P 帧，因为这是在输入中始终指定的内容。

    将pict_type 字段重置为AV_PICTURE_TYPE_NONE 允许编码器生成它认为最好的任何类型的帧。一旦我更新了我的代码来执行此操作，我的测试实用程序会生成 B 帧并生成一个与 ffmpeg 本身的输出相同的文件。

    【讨论】：

      【解决方案2】：

      我有同样的问题，但 x264。 我发现“超快”会改变 bframes=0; 在 x264 中是这样的： x264_param_default_preset(&param, "fast", "zerolatency"); 将其更改为 x264_param_default_preset(&param, "slow", "zerolatency"); 然后我可以得到b帧。

      看来你可以在这个函数中改变你的参数。 或者你可以检查它的定义 av_dict_set(&opts, "preset", "superfast", 0);

      【讨论】：

      • 我以为我已经尝试了不同的编码预设，但结果相同，但我会再试一次以确定。感谢您的建议。
      • 我尝试将预设设置为“非常慢”，但仍然没有 B 帧。更改肯定会产生影响，因为运行我的测试程序需要更长的时间，并且调试输出显示的数据包要小得多，但不幸的是没有 B 帧。
      • 我不知道 ffmpeg lib，添加 codec_ctx->max_b_frames = 3;codec_ctx->b_frame_strategy = 1; codec_ctx->refs=6;并添加这个标志 FLAGS2(CODEC_FLAG2_WPRED) 应该会有所作为。但你也应该确保没有其他函数会改变这些参数。您可以添加断点并检查这些参数。
      • 我尝试按照您的建议设置 codec_ctx 值，但没有成功。我附加了一个调试器并在打开编码器之前和之后验证了这些值。我找不到CODEC_FLAG2_WPRED，所以我无法尝试你建议的那部分。我还尝试了慢速和超快预设。我做错了一定有其他基本的东西。
      猜你喜欢
      • 2020-04-24
      • 2021-08-16
      • 2011-09-29
      • 1970-01-01
      • 1970-01-01
      • 2012-11-12
      • 2012-11-15
      • 2021-09-04
      • 1970-01-01
      相关资源
      最近更新 更多
      热门标签
      Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode