如何将 Android MediaCodec Surface 连接到 Vulkan

Question

我对使用 Android MediaCodec 进行解码以及通过 Surface 将 YUV 输入 OpenGL 纹理有很好的理解。我想对 Vulkan 做类似的事情。但是我没有成功找到任何文档或示例代码。

我的问题是：我将如何连接以下管道？

MediaCodec Video Decoder ⇨ Surface ⇨ texture ⇨ Vulkan

详情

• 使用MediaCodec#configure配置视频解码器
• Surface 是 Android Surface（link to API、link to arch.）

OpenGL 比较

为了比较，在 OpenGL 情况下，Android Surface 的构造和使用方式如下

 textureId = glGenTextures( &textureId )
 surface = new Surface( new SurfaceTexture( textureId ) )
 mediaCodec.configure( surface )

Answer 1

目前这是不可能的，因为无法从 Vulkan 外部导入内存对象，或者任何可以导出 Surface 的 SDK Vulkan 对象。查看VK_KHX_external_memory 和相关扩展，了解其中的某些部分在未来可能如何工作。

EDIT 2018-05-23：现在可以使用 VK_ANDROID_external_memory_android_hardware_buffer 扩展及其依赖的扩展。您可以使用 AImageReader_newWithUsage() 创建与 GPU 采样兼容的 AImageReader。从AImageReader 获取ANativeWindow 并将其用作AMediaCodec 的输出表面。然后，对于您收到的每张图片，获取 AHardwareBuffer 并使用扩展名将其导入到 VkDeviceMemory/VkImage 对中。

Answer 2

仅供参考：我不太了解 Android。

使用vkCreateImage 创建 Vulkan“纹理”。与您的 OpenGL ES 示例不同，显式管理内存需要一些额外的工作（使用 vkAllocateMemory 和 vkBindImageMemory）。

下一步将是艰难的一步。 Vulkan 显然还没有SurfaceTexture。

从 Vulkan 方面提高效率的工作最近才发布。 IE。 VK_KHX_external_memory 和 Vulkan 的相关扩展。所以希望 Vulkan 的官方 Android SurfaceTexture 也即将推出。

话虽如此，您可以自己实现一个新的SurfaceTexture。或者至少将 Vulkan 图像“导入”到 OpenGL ES 中。这样做的问题是：

• 这些扩展被认为是实验性的更新：不再是
• 驱动程序可能不支持扩展（目前）
• 编程可能并非易事，还可能需要在 Android 上使用一些低级 linux API。

因此，目前最好的方法是创建一些 shim 来复制数据。
我会：

1. 似乎MediaCodec 能够使用ByteBuffer 而不是Surface。而ByteBuffer 可以包装原始的bytes[]。

2. 创建VkImages 和VkBuffer。设备内存上的图像（我们想要的结果对象）。以及Host端的Buffer（方便复制）。

3. 映射 (vkMapMemory)，并使用 MediaCodec 使用的 ByteBuffer 包装主机端缓冲区。

4. 每次有新数据时，通过在 Vulkan 中提交 vkCmdCopyBufferToImage 进行复制。

我省略了很多样板文件（尤其是同步），但希望你能明白。