将 Android 深度相机流 (DEPTH16) 捕获为 OpenGL ES 纹理

Question

我的目标是将 Android 深度相机流 (DEPTH16) 读取为 OpenGL ES 纹理，以便我可以在着色器中对其进行处理。正如documentation 所述，采用 DEPTH16 格式

每个像素是 16 位，代表从一个深度测距测量 深度相机或类似传感器。 16位样本由一个 置信度值和实际测距。

因此，在 OpenGL 着色器中，我尝试提取深度范围值并创建可以显示在屏幕上的灰度预览。

我正在使用 camera2 API。对于我使用SurfaceTexture 的常规RGB 相机流，从它创建一个Surface 并将其添加为相机捕获会话的目标。在这里，着色器使用samplerExternalOES 采样器类型访问纹理。但是，如果我理解正确的话，这一切只适用于 8 位 3 通道彩色图像，而在 DEPTH16 中，每个像素只代表一个 16 位值。

是否有其他一些 OpenGL 纹理可用于捕获 DEPTH16，它在着色器中的类型是什么？ 我是 OpenGL 的新手，任何 cmets/建议都将不胜感激。

Answer 1

没有像 SurfaceTexture 这样的直接支持；您需要使用 ImageReader 并手动将深度信息从 ImageReader Image 复制到 OpenGL 纹理中，每一帧。您可能还需要在此阶段分离出置信度值和深度估计值（尽管原则上您可以在着色器中这样做，但必须小心转换）。

幸运的是，深度图往往分辨率较低（例如~320x240），所以这可能不是一个大的性能问题。

对于实际的 EGL 纹理，理想情况下，您需要一个可以存储至少 13 位深度信息的单通道纹理（如果您想包含 DEPTH16 格式中包含的置信度值，则为双通道）。实际上，这意味着 16 位整数或浮点数。