结构光 3D 扫描仪 - 来自像素对应的深度图

Question

我尝试创建Structured-light 3D scanner。

相机校准

相机校准是OpenCV official tutorial 的副本。结果我有相机内在参数（camera matrix）。

投影仪校准

投影仪校准可能不正确，但过程是：投影仪显示棋盘图案，相机从不同角度拍摄一些照片。图像是带有相机参数的cv.undistored，然后结果图像用于OpenCV official tutorial 的校准。结果我有投影仪内在参数（projector matrix）。

旋转和过渡

来自cv.calibrate 我有旋转和过渡矢量作为结果，但矢量计数等于图像计数，我认为它不是正确的，因为我在校准中移动相机和投影仪。 我的新想法是在扫描背景上投射棋盘，进行校准，这样我就会有Rotation vector和Transition vector。我不知道那是正确的方法。

扫描

扫描过程是：

生成图案 -> 使用projector matrix 取消扭曲图案 -> 投影图案并使用相机拍照 -> 使用camera matrix 取消扭曲拍摄的照片

相机-投影仪像素图

我使用 GrayCode 模式和 cv.graycode.getProjPixel 并在相机和投影仪之间使用 pixels mapping。我的投影仪分辨率不是很高，最后的图案不是很可读。我将创建自定义函数来生成没有最后一个模式的映射。

问题

我不知道如何从所有这些信息中获取depth map(Z)。我的困惑是因为有 3 个坐标系 - 相机、投影仪和世界坐标系。

如何用代码找到“Z”？我可以在图像和图案之间从pixels mapping 得到Z 吗？

具有以下信息的信息：

• p(x,y,1) = R*q(x,y,z) + T - 其中p 是图像点，q 是真实世界点（可能），R 和 @987654348 @ 是旋转向量和过渡向量。如何找到R和T？
• Z = B.f/(x-x') - 其中Z 是坐标（深度），B-baseline（相机和投影仪之间的距离）我可以手动测量它，但也许不是这样， (x-x') - 相机像素和投影仪像素之间的距离。我不知道如何获得基线。也许这是Transition vector？
• 我试图得到4个意义点，在cv.getPerspectiveTransform中使用它们，这个结果将在cv.reprojectImageTo3D中使用。但是cv.getPerspectiveTransform 返回 3x3 矩阵，cv.reprojectImageTo3D 使用 Q-4×4 perspective transformation matrix that can be obtained with stereoRectify。

类似问题：

• How is point cloud data acquired from the structured light 3D scanning? - 答案是you need to define a vector that goes from the camera perspective center to the pixel in the image and then rotate this vector by the camera rotation。但我不知道如何定义/查找 thid vercor 并且需要 Rotation vector。
• How to compute the rotation and translation between 2 cameras? - 问题是关于两个相机之间的 R 和 T，但几乎到处都写着投影仪是倒置相机。一个很好的答案是The only thing you have to do is to make sure that the calibration chessboard is seen by both of the cameras. 但我认为如果我投射棋盘图案，它会被墙额外扭曲（Projective transormation）

还有许多其他资源，我将更新列表并发表评论。我错过了一些东西，我不知道如何实现它。

Answer 1

假设 p(x,y) 是图像点，视差为 (x-x')。您可以获得深度点，

disparity = x-x_ # x-x'
point_and_disparity = np.array([[[x, y, disparity]]], dtype=np.float32)

depth = cv2.perspectiveTransform(point_and_disparity, q_matrix)