MediaCodec H264 编码器不适用于 Snapdragon 800 设备答案

【问题标题】：MediaCodec H264 Encoder not working on Snapdragon 800 devicesMediaCodec H264 编码器不适用于 Snapdragon 800 设备
【发布时间】：2013-12-26 20:10:01
【问题描述】：

我使用 Android 的 MediaCodec API 编写了一个 H264 流编码器。我在大约十种具有不同处理器的不同设备上对其进行了测试，除 Snapdragon 800 驱动的设备（谷歌 Nexus 5 和索尼 Xperia Z1）外，它都能在所有设备上运行。在这些设备上，我得到了 SPS 和 PPS 以及第一个关键帧，但之后 mEncoder.dequeueOutputBuffer(mBufferInfo, 0) 只返回 MediaCodec.INFO_TRY_AGAIN_LATER。我已经尝试了不同的超时、比特率、分辨率和其他配置选项，但无济于事。结果总是一样的。

我使用以下代码来初始化编码器：

        mBufferInfo = new MediaCodec.BufferInfo();
        encoder = MediaCodec.createEncoderByType("video/avc");
        MediaFormat mediaFormat = MediaFormat.createVideoFormat("video/avc", 640, 480);
        mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 768000);
        mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 30);
        mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, mEncoderColorFormat);
        mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 10);
        encoder.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);

选择的颜色格式在哪里：

MediaCodecInfo.CodecCapabilities capabilities = mCodecInfo.getCapabilitiesForType(MIME_TYPE);
            for (int i = 0; i < capabilities.colorFormats.length && selectedColorFormat == 0; i++)
            {
                int format = capabilities.colorFormats[i];
                switch (format) {
                    case MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar:
                    case MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420PackedPlanar:
                    case MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar:
                    case MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420PackedSemiPlanar:
                    case MediaCodecInfo.CodecCapabilities.COLOR_TI_FormatYUV420PackedSemiPlanar:
                    case MediaCodecInfo.CodecCapabilities.COLOR_QCOM_FormatYUV420SemiPlanar:
                        selectedColorFormat = format;
                        break;
                    default:
                        LogHandler.e(LOG_TAG, "Unsupported color format " + format);
                        break;
                }
            }

我通过做得到数据

            ByteBuffer[] inputBuffers = mEncoder.getInputBuffers();
        ByteBuffer[] outputBuffers = mEncoder.getOutputBuffers();

        int inputBufferIndex = mEncoder.dequeueInputBuffer(-1);
        if (inputBufferIndex >= 0)
        {
            // fill inputBuffers[inputBufferIndex] with valid data
            ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];
            inputBuffer.clear();
            inputBuffer.put(rawFrame);
            mEncoder.queueInputBuffer(inputBufferIndex, 0, rawFrame.length, 0, 0);
            LogHandler.e(LOG_TAG, "Queue Buffer in " + inputBufferIndex);
        }

        while(true)
        {
            int outputBufferIndex = mEncoder.dequeueOutputBuffer(mBufferInfo, 0);
            if (outputBufferIndex >= 0)
            {
                Log.d(LOG_TAG, "Queue Buffer out " + outputBufferIndex);
                ByteBuffer buffer = outputBuffers[outputBufferIndex];
                if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG) != 0)
                {
                    // Config Bytes means SPS and PPS
                    Log.d(LOG_TAG, "Got config bytes");
                }

                if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_SYNC_FRAME) != 0)
                {
                    // Marks a Keyframe
                    Log.d(LOG_TAG, "Got Sync Frame");
                }

                if (mBufferInfo.size != 0)
                {
                    // adjust the ByteBuffer values to match BufferInfo (not needed?)
                    buffer.position(mBufferInfo.offset);
                    buffer.limit(mBufferInfo.offset + mBufferInfo.size);

                    int nalUnitLength = 0;
                    while((nalUnitLength = parseNextNalUnit(buffer)) != 0)
                    {
                        switch(mVideoData[0] & 0x0f)
                        {
                            // SPS
                            case 0x07:
                            {
                                Log.d(LOG_TAG, "Got SPS");
                                break;
                            }

                            // PPS
                            case 0x08:
                            {
                                Log.d(LOG_TAG, "Got PPS");
                                break;
                            }

                            // Key Frame
                            case 0x05:
                            {
                                Log.d(LOG_TAG, "Got Keyframe");
                            }

                            //$FALL-THROUGH$
                            default:
                            {
                                // Process Data
                                break;
                            }
                        }
                    }
                }

                mEncoder.releaseOutputBuffer(outputBufferIndex, false);

                if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0)
                {
                    // Stream is marked as done,
                    // break out of while
                    Log.d(LOG_TAG, "Marked EOS");
                    break;
                }
            }
            else if(outputBufferIndex == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED)
            {
                outputBuffers = mEncoder.getOutputBuffers();
                Log.d(LOG_TAG, "Output Buffer changed " + outputBuffers);
            }
            else if(outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED)
            {
                MediaFormat newFormat = mEncoder.getOutputFormat();
                Log.d(LOG_TAG, "Media Format Changed " + newFormat);
            }
            else if(outputBufferIndex == MediaCodec.INFO_TRY_AGAIN_LATER)
            {
                // No Data, break out
                break;
            }
            else
            {
                // Unexpected State, ignore it
                Log.d(LOG_TAG, "Unexpected State " + outputBufferIndex);
            }
        }

感谢您的帮助！

【问题讨论】：

有多少输入帧在输出停止时排队？（我想确保它不仅仅是缺乏输入。） logcat 中有什么可疑的东西吗？（编解码器倾向于喷洒 Log.e，这会让人很难分辨。）选择了哪种颜色格式？（是QCOM格式吗？）你的“原始帧”的大小与输入缓冲区的容量完全一样吗？（如果不是……为什么不呢？）
@fadden 我让它运行多长时间并不重要，但它似乎总是在输入缓冲区中有 5 帧。它在创建时的输出是：I/OMXClient(11245): Using client-side OMX mux. I/ACodec(11245): setupVideoEncoder succeeded 在这两种情况下选择的颜色格式都是MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar （如果我查询所有格式，它只有两种，前面提到的和一个有常量 2130708361 的如果选择就会崩溃。）原始帧和输入缓冲区不一样（原始帧大小总是更小，输入缓冲区容量总是282624）
五帧是典型的——听起来它没有处理输入，因此没有输出。我假设你打电话给encoder.start()？ YUV420SemiPlanar 好； 2130708361 仅用于 Surface 输入。 YUV420 缓冲区的大小应该是width * height * 1.5，或 460800 字节，所以我对你的缓冲区大小有点困惑。您是否在日志文件中看到“媒体格式已更改”消息，如果有，它说明了什么？
@fadden 是的，我打电话给encoder.start()。我回答中的痕迹的分辨率不同。 rawFrame 的大小是width * height * 1.5，但缓冲区的大小总是比这个大一点。我没有收到格式更改消息。
我不确定还有什么可以尝试的——上面粘贴的代码看起来不错。从这里开始，您最好的方法可能是采用已知可行的类似方法（例如，缓冲区到缓冲区的 EncodeDecodeTest 代码），使其在您的应用程序中工作，然后逐渐将其更改为看起来像您的实现。

标签： java android h.264 encoder android-mediacodec

【解决方案1】：

encodeCodec.queueInputBuffer(inputBufferIndex, 0, input.length, (System.currentTimeMillis() - startMs) * 1000, 0);

【讨论】：

如果您正在接收实时输入（例如来自相机），则使用当前时间很好，但如果您使用其他来源（例如以比真实速度更快的速度转码视频），则效果不佳时间）。我还建议不要使用System.currentTimeMillis()，因为它会突然跳跃（向前和向后）。单调的System.nanoTime() 是更好的来源。
即使在转码的情况下，源内容的时间戳也将适用（基于源内容的 fps）。编码器需要知道时间戳才能管理速率控制。因此，如果您已使用 mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, FPS) 配置帧率，建议为非实时编码生成时间戳 (N * 1000 * 1000 / FPS)。
@fadden，我需要为异步 MediaCodec 编码器实例设置演示时间吗？当我解码 h264 输出时，ffmpeg 看不到视频帧的呈现时间。请告诉我

【解决方案2】：

您需要在调用 queueInputBuffer 时设置presentationTimeUs 参数。大多数编码器都忽略了这一点，您可以毫无问题地进行流式编码。用于 Snapdragon 800 设备的编码器没有。

这个参数代表你的帧的记录时间，因此需要增加你要编码的帧和前一帧之间的我们的数量。

如果参数集与前一帧中的值相同，则编码器将其丢弃。如果参数设置的值太小（例如 30 FPS 录制时为 100000），则编码帧的质量会下降。

【讨论】：

嗯。表示时间戳不是 H.264 基本流的一部分，所以我的期望是该值只是通过。我添加了一个新的常见问题条目 (bigflake.com/mediacodec/#q8)。
您能否举例说明如何设置演示时间？
调用 Snapdragon 800 设备的 queueInputBuffer 值时的 TimeUs 参数