带有 Surface 输入的 MediaCodec：在后台录制

Question

我正在开发一个视频编码应用程序，我想防止它在托管 Activity 进入后台或屏幕循环关闭/打开时停止。

我的编码器架构源自出色的CameraToMpegTest 示例，并在 GLSurfaceView 中添加了显示相机帧（请参阅下面的 Github 链接）。我目前正在使用两种状态的解决方案进行后台录制：

• 当托管 Activity 在前台时，每次调用 GLSurfaceView.Renderer 的 onDrawFrame 时编码一个视频帧。这使我可以突发​​访问 GLSurfaceView 的 EGL 状态，以免阻塞排队到渲染器线程的其他事件。

• 当宿主 Activity 进入后台时，停止 onDrawFrame 编码并在循环内的另一个后台线程上编码帧。此模式与 CameraToMpegTest 示例相同。

然而如果屏幕关闭，GLSurfaceView 的 EGLContext 会丢失，并且会重新调用 onSurfaceCreated。在这种情况下，我们必须重新创建连接到 MediaCodec 的输入 Surface 的 EGL 窗口表面。不幸的是，第二次调用eglCreateWindowSurface 产生：

E/libEGL(18839): EGLNativeWindowType 0x7a931098 already connected to another API

打电话之前，我release all EGL resources connected to the Android Surface。

有没有办法交换连接到 MediaCodec 的输入 Surface 的 EGLSurface？

我的测试应用程序的完整来源在Github。 Main Activity.

更新我将在这里学到的经验应用到基于 MediaCodec 和 MediaMuxer 类的video sdk for Android 中。希望对您有所帮助！

Answer 1

背景优先...

当您调用eglCreateWindowSurface() 时，Android EGL wrapper 会在您传入的Surface 上调用native_window_api_connect()。这最终会变成BufferQueue 生产者连接调用，这意味着这个EGL 表面现在是唯一的Surface 的图形缓冲区来源。

EGL 表面保持与Surface 的连接，直到 EGL 表面被破坏。如果是，surface destructor 调用native_window_api_disconnect() 以断开 EGL 表面与BufferQueue 的连接。 EGL 表面是引用计数的，当表面被传递给eglMakeCurrent() 时，引用计数会增加，因此必须发生两件事才能被销毁：

1. 必须调用eglDestroySurface()
2. EGL 表面不得在任何线程中为“当前”

第二个项目需要使用另一个 EGL 表面（或 EGL_NO_SURFACE）调用 eglMakeCurrent()，或在之前使用该表面的任何线程上调用 eglReleaseThread()。确认完成的一种快速方法是在调用 eglMakeCurrent() 之前添加日志记录，当表面变为当前和非当前时，并通过查看 logcat 输出与 adb logcat -v threadtime 比较线程 ID。使用 eglGetCurrentSurface(EGL_DRAW) 之类的 EGL 查询也可能很有用，以确认您正在使表面成为电流的线程中执行非电流。

如果 EGL 表面没有被破坏，它不会与 Surface 断开连接，并且尝试连接新的生产者（通过调用 eglCreateWindowSurface 与新的 EGL 表面）将被拒绝，并显示“已经连接"消息。

更新：我的实现现在在Grafika test project 中可用。如果你安装这个，选择“显示+捕获相机”，开始录制，切换电源，然后停止录制，你应该有一个完整的电影，中间有很长的停顿。您可以退出，选择“播放视频”，然后选择“camera-test.mp4”进行查看。