将 Surface 输入缓冲到 MediaCodec

Question

已经演示了如何像 CameraPreview 一样 feed MediaCodec with Surface input，但是在提交到 MediaCodec 之前是否有缓冲此输入的实用方法？

在我的experiments 中，Galaxy Nexus 在使用CameraToMpegTest.java 中的直接同步编码方法生成音频/视频流时遇到了无法接受的问题

将MediaCodec 与byte[] 或ByteBuffer 输入一起使用时，我们可以将未编码的数据提交到ExecutorService 或类似的队列进行处理，以确保没有丢帧，即使设备出现CPU 使用率高峰我们的应用程序的控制。但是，由于需要执行color format conversion between Android's Camera and MediaCodec，这种方法对于高分辨率的实时视频是不现实的。

想法：

1. 有没有办法将使用EGL14.eglCopyBuffers(EGLDisplay d, EGLSurface s, NativePixmapType p) 创建的NativePixmapType 提供给MediaCodec？

2. Android 的任何人都可以评论一下协调相机和 MediaCodec 之间的 ByteBuffer 格式是否在路线图上？

Answer 1

您真的根本不想复制数据。为大量数据分配存储空间和复制大量数据可能需要足够长的时间来降低帧速率。这通常会排除 byte[] 和 ByteBuffer[] 解决方案，即使您不必进行 U/V 平面交换。

在系统中移动数据的最有效方式是使用 Surface。诀窍是 Surface 不是缓冲区，它是queue of buffers 的接口。缓冲区通过引用传递；当您unlockCanvasAndPost() 时，您实际上是将当前缓冲区放入消费者队列中，而消费者通常处于不同的进程中。

没有用于创建新缓冲区并将其添加到队列使用的集合或从队列中提取缓冲区的公共机制，因此您无法在侧面实现 DIY 缓冲方案。没有公共接口可以更改池中的缓冲区数量。

了解导致打嗝的原因会很有用。用于分析此类问题的 Android 工具是 systrace，在 Android 4.1+ 中可用（docs、example、bigflake example）。如果您可以确定 CPU 负载的来源，或者确定它不是 CPU 而是一些代码纠缠在一起，那么您可能会找到一个比向 Surface 添加更多缓冲区更容易的解决方案。