如何将相机预览传递给 MediaCodec.createInputSurface() 创建的 Surface？

Question

理想情况下，我想实现两个目标：

1. 通过Surface 将Camera 预览数据传递给MediaCodec 编码器。我可以使用MediaCodec.createInputSurface() 创建Surface，但Camera.setPreviewDisplay() 需要SurfaceHolder，而不是Surface。
2. 除了将Camera 预览数据传递给编码器之外，我还想在屏幕上显示预览（这样用户就可以实际看到他们正在编码的内容）。如果不涉及编码器，那么我会使用SurfaceView，但这似乎在这种情况下不起作用，因为SurfaceView 创建了自己的Surface，我想我需要使用@ 创建的那个987654334@.

我在网上搜索了很多解决方案，但没有找到。 bigflake.com 上的一些示例似乎是朝着正确方向迈出的一步，但它们采用的方法增加了我想避免的一堆 EGL/SurfaceTexture 开销。我希望有一个更简单的示例或解决方案，我可以让Camera 和MediaCodec 更直接地交谈，而不涉及 EGL 或纹理。

Answer 1

从 Android 4.3 (API 18) 开始，bigflake CameraToMpegTest 方法是正确的方法。

EGL/SurfaceTexture 开销目前是不可避免的，尤其是对于您想要在目标 #2 中执行的操作。这个想法是：

• 将摄像头配置为将输出发送到SurfaceTexture。这使得 GLES 可以将相机输出作为“外部纹理”使用。
• 将SurfaceTexture 渲染到MediaCodec#createInputSurface() 返回的Surface。这为视频编码器提供数据。
• 再次将SurfaceTexture 渲染到GLSurfaceView。这会将其显示在显示屏上以供实时预览。

发生的唯一数据复制由 GLES 驱动程序执行，因此您正在执行硬件加速的 blit，这将很快。

唯一棘手的一点是您希望外部纹理可用于两种不同的 EGL 上下文（一种用于MediaCodec，一种用于GLSurfaceView）。您可以在 bigflake 上的“Android Breakout 游戏记录器补丁”示例中看到创建共享上下文的示例——它将游戏渲染两次，一次渲染到屏幕，一次渲染到 MediaCodec 编码器。

更新：这是在Grafika（“显示+捕获相机”）中实现的。

更新：“show + capture camera”方法中的多上下文方法是somewhat flawed。 “连续捕获” Activity 使用普通的 SurfaceView，并且能够使用单个 EGL 上下文进行屏幕渲染和视频录制。这是推荐的。