Android视频实时过滤

Question

我正在编写一个视频播放器，我尝试在每个解码帧上应用过滤器，然后再将其显示在屏幕上。

我使用MediaCodec 提取帧。帧被解码为从 SurfaceTexture 创建的 Surface，渲染（离屏）到 pbuffer，使用 glReadPixels() 提取

我使用 ExtractMpegFramesTest 作为此页面的示例：

http://bigflake.com/mediacodec/

此时我有ByteBuffer 与提取的像素，我在其上进行一些后期处理（转换为灰度，或运行边缘检测等）

完成后，我想在屏幕上呈现过滤后的帧。 我可以再次使用 MediaCodec 对其进行编码并使用 VideoView 来呈现它，但这样每一帧都被不必要地编码和解码。

有没有一种有效的方法可以在屏幕上渲染这些帧？

Answer 1

简单的答案是：将像素上传到 GLES 纹理，使用 glTexImage2D()，然后渲染一个四边形。

根据您的过滤，您可能还需要考虑完全在 GLES 中执行操作。这明显更快，但更难实现，因为过滤器必须写入片段着色器 (GLSL)。

您可以在 Grafika (demo video here) 中找到基于着色器的图像过滤示例，以及使用 glTexImage2D() 将位图数据发送到纹理的一些用法。