使用 MediaExtractor 和 MediaCodec 在视频播放中跳过帧答案

【问题标题】：Skip frames in video playback with MediaExtractor and MediaCodec使用 MediaExtractor 和 MediaCodec 在视频播放中跳过帧
【发布时间】：2015-07-30 05:30:34
【问题描述】：

我正在使用 MediaExtractor/MediaCodec 解码视频并将其渲染到 TextureView。作为模板，我使用的代码来自：https://github.com/vecio/MediaCodecDemo/blob/master/src/io/vec/demo/mediacodec/DecodeActivity.java

我希望能够以 2 倍的速度播放视频。幸运的是，媒体编码/解码速度足够快，因此我可以通过让 MediaCodec 解码每一帧来完成此操作，然后仅将每隔一帧渲染到屏幕上。但是，这感觉不是一个很好的解决方案，特别是如果您想将播放增加任意值。例如，在 10 倍速度下，编解码器无法以足够快的速度解码帧，以 30 fps 的速度每 10 帧播放一次。

因此，我希望通过多次调用 MediaExtractor.advance() 来跳过不需要解码的帧来控制播放。例如：

        ...
        mDecoder.queueInputBuffer(inIndex, 0, sampleSize, mExtractor.getSampleTime(), 0);
        for (i = 0; i < playbackSpeedIncrease; i++) {
               mExtractor.advance();
        }
        ...

使用此代码，理论上提取器应该只提取每个 nth 帧，其中 n 由变量“playbackSpeedIncrease”定义。例如，如果 n = 5，这应该超过第 1-4 帧并且只提取第 5 帧。

但是，这在实践中是行不通的。当我运行这段代码时，渲染到屏幕上的图像是扭曲的：

有人知道这是为什么吗？有关以任意速度增加播放视频的更好方法的建议吗？

【问题讨论】：

标签： java android video android-mediacodec mediaextractor

【解决方案1】：

您通常无法对 AVC 视频执行此操作。

编码视频的“关键”（或“同步”或“I”）帧包含完整图像，但关键帧之间的帧与前一帧存在“差异”。您可以在 wikipedia 上找到一些关于视频编码方法的文章，例如this one。由于您跳过了关键帧并且现在正在针对错误的图像计算差异，因此您收到了令人讨厌的视频。

如果您曾经看过视频快进流畅但快退笨拙，例如在 TiVo 上，这就是原因：视频解码器快速向前播放，但反过来它只播放 I 帧，将它们在屏幕上保持足够长的时间以获得所需的速率。在“更快”的前进/后退时，它会变平，因为设备只是在播放 I 帧。您可以通过观察从 MediaExtractor 获得的帧上的 SAMPLE_FLAG_SYNC 标志来执行类似的操作。

通常，您只能以设备可以解码的速度播放视频，或者只播放关键帧。（如果您对特定编码中特定视频的布局有足够的了解，您可能会做得更好，例如播放 I 和 P 但不播放 B，但我不确定这在 AVC 中是否可行。）

I 帧的频率由视频编码器决定。它往往是每秒一两个，但如果您从不同来源获取视频，那么您可以预期 GOP 大小（图片组，即 I 帧之间有多少帧）会有所不同。

【讨论】：