opencv 的 reprojectImageTo3D() 中的深度图值

Question

OpenCV 的 reprojectImageTo3D() 输出 “表示 3D 表面的 3 通道图像”。 您可以通过

访问这些数据

Vec3f coordinates = _3dImage.at<Vec3f>(y,x);
float depth = _3dImage.at<Vec3f>(y,x)[2];

witch 返回一个向量 [X,Y,Z]。

在 Gary Bradski 和 Adrian Kaehler 的 “Learning OpenCV” 中，解释了深度是通过以下方式计算的

Z = f T / (x_left - x_right)

其中 f = 焦距，T = 眼距/相机之间的平移，(x_left - x_right) = 视差

这个精确的公式是在 OpenCV 中实现的（我检查了源代码 - 但是由于某种原因还有一个额外的负号）。问题是：X、Y、Z 值在哪个单位中指定？

T 是你的单位（例如 mm），x_l - x_r 是像素，[ f ] = ?

当您校准相机时，您以现实世界的单位（例如毫米）指定棋盘的大小。因此，内在矩阵是否具有真实世界的单位？还是以 px 指定？不幸的是，我在文档中找不到答案。

Answer 1

执行深度重建的基本方程是：

Z = fB/d，在哪里

• f 是焦距（以像素为单位），您将其称为眼距/相机之间的平移
• B 是立体声基线（以米为单位）
• d 是视差（以像素为单位），用于衡量对应点之间视网膜位置的差异
• Z是沿相机Z轴的距离

图像点的 3D 位置 (X,Y,Z)（例如 (u,v) 以像素为单位）可以以米、厘米、毫米或您选择的任何单位给出，因为 3D 坐标 (X,Y,Z) 与棋盘的单位相同正方形大小。例如，如果您将正方形大小定义为 1 厘米，则 3D 坐标也将以厘米为单位。

即：

Size boardSize(4, 5); // 4x5 chessboard
float squareSize = 0.025F; // 0.025 meters
for( int i = 0; i < boardSize.height; i++ )
    for( int j = 0; j < boardSize.width; j++ )
        corners.push_back(Point3f(float(j*squareSize), float(i*squareSize), 0.0F));

附：
确定Z后，就可以使用常用的投影相机方程计算出X和Y：

• X = uZ/f
• Y = vZ/f