Android mediacodec：是否可以同时使用 mediacodec 和 muxer 对音频和视频进行编码？

【问题标题】：Android mediacodec: Is it possible to encode audio and video at the same time using mediacodec and muxer?Android mediacodec：是否可以同时使用 mediacodec 和 muxer 对音频和视频进行编码？
【发布时间】：2018-05-18 06:53:38
【问题描述】：

this 网站名为 big flake 上有一些很好的文档，介绍了如何使用媒体复用器和媒体编解码器将视频编码然后解码为 mp4，或者提取视频然后再次对其进行编码等等。

但似乎没有一种方法可以同时对音频和视频进行编码，没有关于此的文档或代码。这似乎不是不可能的。

问题

你知道有什么稳定的方法可以在所有高于 android 18 的设备上运行吗？

为什么没人实现，很难实现吗？

【问题讨论】：

标签： android mediamuxer android-mediacodec

【解决方案1】：

您必须创建 2 个 Mediacodec 实例，一个用于视频，一个用于音频，然后使用 MediaMuxer 将编码后的视频与音频混合，您可以查看 ExtractDecodeEditEncodeMuxTest.java 和 this project to capture camera/mic and save to mp4 file using Mediamuxer and Mediacodec

【讨论】：

此链接向您展示了如何提取音频和视频然后将它们混合，但问题是当我对视频进行编码时，我从哪里获取音频，而且这是一种稳定的方式吗？跨度>
您可能会从源（例如电话麦克风）获取音频作为 RAW 数据，是的，这是最稳定的方法，请参阅我的编辑 (github.com/saki4510t/AudioVideoRecordingSample/blob/master/app/…)
假设我对视频进行了编码，使得 I - 帧彼此相距 1 秒或 2 秒，当音频也被混合时，这会影响最终视频吗？
还是音视频格式相互独立？
音频和视频格式是独立的，因为您使用 2 个媒体编解码器实例，但您必须将音频与返回编码器的视频同步（每个视频帧必须播放多少音频样本）