如何在 Arcore 中对齐深度和颜色？

Question

我正在为我的 P30Pro 编写一个小型 Android 应用程序，我想在其中找到彩色图像中的对象（面部、视觉标记等），然后使用来自飞行时间相机。为了同时跟踪相机，我运行 ArCore 并使用 SharedSession 通过 frame.acquireDepthImage() 访问彩色图像和深度图像。 （两者都很好，我得到了一个高分辨率的彩色图像和一个 120x160 深度的图像）

对于彩色图像，我通过 camera.getImageIntrinsics 获得内在校准，因此我可以在像素和相应光线之间进行映射。 但是我发现深度相机没有对应的功能，所以我无法从深度图像中创建点云或获取彩色图像中像素的对应深度。

那么：“如何使用密集深度图像在彩色图像中找到给定像素对应的 3D 点？”

Answer 1

我之前参与过一个使用 P20 Pro 密集深度图的项目，我发现它们已经与高分辨率彩色图像对齐，尽管它们的分辨率要小得多。

换句话说，您应该只对深度图进行上采样，使其与彩色图像的分辨率相匹配。完成此操作后，您应该会发现上采样深度图像中 (r,c) 处的插值深度值对应于彩色图像中 (r,c) 处的像素。