在OpenCV中将点从点云投影到图像

Question

我正在尝试使用 C++ 在 OpenCV 中将一个点从 3D 投影到 2D。目前，我正在使用 cv::projectPoints() 但它只是不工作。

但首先要做的事情。我正在尝试编写一个程序，该程序可以找到点云和空间线之间的交点。所以我校准了两台相机，使用SGBM进行了校正和匹配。最后，我使用 reprojectTo3D() 将视差图投影到 3d。这一切都很好，在 meshlab 中，我可以可视化我的点云。

之后我编写了一个算法来找到点云和我手动编码的线之间的交点。这也很好用。我在点云中找到了一个距离线约 1.5 毫米的点，这对于开始来说已经足够了。所以我抓住了这一点并尝试将其投影回图像，以便我可以标记它。但这就是问题所在。

现在该点不再位于图像内部。当我在图像中间进行交叉时，这是不可能的。我认为问题可能出在坐标系中，因为我不知道点云是在哪个坐标系中写入的（左相机、右相机或其他）。

我的 projectPoints 函数如下所示：

projectPoints(intersectionPoint3D, R, T, cameraMatrixLeft, distortionCoeffsLeft, intersectionPoint2D, noArray(), 0);

R 和 T 是从一台摄像机到另一台摄像机的旋转和平移（从 stereoCalibrate 获得）。这可能是我的错误，但我该如何解决呢？我也尝试将它们设置为 (0,0,0) 但它也不起作用。我还尝试使用 Rodrigues 将 R 矩阵转换为向量。还是同样的问题。

如果之前有人问过这个问题，我很抱歉，但我不知道如何搜索这个问题。我希望我的文字足够清楚以帮助我...如果您需要更多信息，我很乐意提供。

非常感谢。

Answer 1

你有一个 3D 点，你想得到它对应的 2D 位置，对吗？如果您有相机校准矩阵（3x3 矩阵），您将能够将点投影到图像上

cv::Point2d get2DFrom3D(cv::Point3d p, cv::Mat1d CameraMat)
{
    cv::Point2d pix;
    pix.x = (p.x * CameraMat(0, 0)) / p.z + CameraMat(0, 2);
    pix.y = ((p.y * CameraMat(1, 1)) / p.z + CameraMat(1, 2));
    return pix;
}