计算对应像素

Question

我有一个带有两个摄像头的计算机视觉。其中一台相机是飞行时间相机。它给了我每个像素的场景深度。另一台相机是标准相机，可以为我提供场景的彩色图像。

我们想使用深度信息从彩色图像中删除一些区域。我们计划在彩色图像中进行物体、人物和手部跟踪，并希望借助飞行时间相机去除远处的背景像素。目前还不确定相机是否可以平行设置。

我们可以使用 OpenCv 或 Matlab 进行计算。

我阅读了很多关于校正、极线几何等的信息，但我仍然无法看到计算每个像素对应关系所必须采取的步骤。

你会使用什么方法，可以使用哪些功能。你会在哪些步骤中划分问题？是否有可用的教程或示例代码？

更新我们计划使用放置在场景中的已知标记进行自动校准

Answer 1

如果您想要稳健的对应关系，您应该考虑SIFT。 MATLAB 中有几种实现方式——我使用Vedaldi-Fulkerson VL Feat library。

如果您真的需要快速性能（我认为您不需要），您应该考虑使用OpenCV 的SURF 检测器。

如果您有任何其他问题，请尽管提问。我的This other answer 可能有用。

PS：通过对应关系，我假设您想在两个图像上找到相同 3D 点的投影坐标 - 即像素 u_A 的坐标 (i,j)在图像 A 中，u_B 在图像 B 中，这是同一点在 3D 中的投影。