如何在 android 源代码中调用我的自定义解码器

Question

我正在尝试将我的软件 HEVC 解码器添加到 android 源代码中。我希望生成 libstagefright.so 文件。

我提到了其他类似的问题，但对我没有多大帮助。我无法通过以下问题或参考指南获得清晰的画面。

1) 将编解码器集成到 Android 多媒体框架中。

2)集成自定义解码器，在安卓上播放，同时显示fps。

3)如何注册 OMX 内核以添加新解码器。

有人可以帮助我将新的自定义解码器与 Android 集成的步骤。

现在，我刚刚在 SoftOMXPlugin.cpp 文件中添加了 media_codecs.xml 和 { "OMX.google.h265.decoder" , "hevcdec" , "video_decoder.hevc" }。

需要编辑哪些其他文件才能将新格式添加到 android 源代码中？ 哪些函数调用我的解码器源代码（softomxcplugin 源文件是否调用我的解码器？）。

Answer 1

从您的查询和之前的讨论中，请找到将HEVC 组件集成到Android 框架中的步骤。由于您的组件是 SW 组件，因此您必须集成与 SoftVideoDecoderOMXComponent 相同的组件。

什么是SoftVideoDecoderOMXComponent？

在AndroidStagefright 框架的最新版本中，SW 加速编解码器使用类似OMX 的接口集成到框架中。早些时候，情况并非如此，并且有一些挑战。因此，Google 简化了集成策略，并要求所有SW 编解码器都使用SoftOMXComponent 类接口。

大部分OMX IL 调用由基类处理，因此，新编解码器组件的实现相对容易，如下所述。

我将以AVC 编解码器集成为例进行概述。 强烈建议读者熟悉OMX IL 1.1.2 specification，它描述了OMX IL 视频解码器组件的结构、功能和状态机。

注意：HEVC 还不是OMX IL 规范的一部分，因此建议主要是了解组件的结构和功能。

SoftHEVC组件的创建

请参考SoftAVC.h的头文件和对应的源SoftAVC.cpp。

您将不得不实现一组类似的文件。由于某些固有的相似性，强烈建议重用 AVC 的整体实现。

SoftHEVC.cpp 实施

1. 您必须在派生自SoftVideoDecoderOMXComponent 的SoftHEVC.h 中定义一个SoftHEVC 组件。这将确保所有OMX 调用都由基类适当处理。

2. 您必须定义支持表 profile-level 组合，如 CodecProfileLevel 中所示。

3. 在constructor 中，您可以以类似的方式初始化大部分变量。由于这是一个视频解码器组件，您必须初始化 2 个端口，即input 和 output。 ctor 调用 initDecoder 来初始化组件。您还必须为您的编解码器实现类似的功能。

4. dtor 是不言自明的，因此，我将跳过相同的解释。

5. onQueueFilled 会在为input 端口上的处理提供一个充满一帧比特流数据的缓冲区或为output 提供一个空闲缓冲区时调用。这会调用主解码函数H264SwDecDecode。现在，对于第一帧，与最初初始化的分辨率相比，您可能会遇到分辨率的变化。这由下一点所述的 2 个场景来处理。

6. 您会观察到两个函数 handlePortSettingsChanged 和 handleCropRectEvent。从输出缓冲区的角度来看，这两个事件很重要。 handlePortSettingsChanged 表示 输出缓冲区尺寸的变化 与最初初始化的大小相比，因此，向用户提供事件回调以释放当前分配并重新分配相同。 handleCropRectEvent 表示向用户传达的__cropping window__。通常，这不需要重新分配缓冲区。

7. drainOneOutputBuffer 会将解码帧复制到输出端口的缓冲区和解码缓冲区的notify the caller about the availability。

8. 在onQueueFilled中，成功解码后，input buffer which has been consumed is also returned back给调用者。

9. 其余功能非常简单，我觉得您可以简单地重用大部分实现。

10. 要注册组件，您必须实现createSoftOMXComponent，它会创建SoftHEVC 组件，如here 所示。

由于您已经处理了注册的组件，我将跳过该部分。仅供参考，我假设您已在SoftOMXPlugin 中的kComponents 数组中注册了该组件。此外，由于HEVC 不是已知的MIME 类型，因此您必须注册相同的类型。 MediaDefs.cpp 需要进行更改，您必须引入一个新条目 MEDIA_MIMETYPE_VIDEO_HEVC，类似于 AVC 等现有格式，并支持 OMXCodec.cpp 和 ACodec.cpp 的更改。

通过这些步骤，我想你应该能够集成你的SW解码器并能够实现你的播放。