【发布时间】：2012-08-13 16:07:15
【问题描述】：
我有一个任务：
我们有一个系统可以让摄像头绕着人头转半圈。我们知道相机矩阵和每一帧的旋转/平移。 （失真等等......但我想首先在没有这些参数的情况下工作）
我的任务是我只有相机矩阵，它在这个动作中是恒定的，还有图像（超过 100 个）。现在我必须逐帧获取平移和旋转，并将其与现实世界中的旋转和平移进行比较（来自我拥有但仅用于比较的系统，我也证明了！）
到目前为止我所做的第一步：
- 使用 OpenCV Cookbook 中的 robustMatcher -works finde - 40-70 匹配每帧 - 可见看起来非常好！
- 我使用 getFundamental() 获得了基础矩阵。我使用了来自 robustMatcher 和 RANSAC 的稳健点。
- 当我拿到 F 后，我可以使用我的 CameraMatrix K 获得 Essentialmatrix E，如下所示：
cv::Mat E = K.t() * F * K; //Found at the Bible HZ Chapter 9.12
现在我们需要使用 SVD 从 E 中提取 R 和 t。顺便说一句，camera1 的位置为零，因为我们必须从某个地方开始。
cv::SVD svd(E);
cv::SVD svd(E);
cv::Matx33d W(0,-1,0, //HZ 9.13
1,0,0,
0,0,1);
cv::Matx33d Wt(0,1,0,//W^
-1,0,0,
0,0,1);
cv::Mat R1 = svd.u * cv::Mat(W) * svd.vt; //HZ 9.19
cv::Mat R2 = svd.u * cv::Mat(Wt) * svd.vt; //HZ 9.19
//R1 or R2???
R = R1; //R2
//t=+u3 or t=-u3?
t = svd.u.col(2); //=u3
这是我的实际状态！
我的计划是：
- 对所有点进行三角测量以获得 3D 点
- 将框架 i 与框架 i++ 连接
- 以某种方式可视化我的 3D 点！
现在我的问题是：
- 这个强大的匹配器过时了吗？还有其他方法吗？
- 使用我在第二步中描述的这些点是否错误？必须用失真或其他方式转换它们吗？
- 我在这里提取的 R 和 t 是什么？是从camera1的角度看camera1和camera2之间的旋转和平移吗？
- 当我阅读圣经或论文或其他地方时，我发现 R 和 t 有 4 种可能性！
'P' = [UWV^T |+u3] oder [UWV^T |−u3] oder [UW^TV^T |+u3] oder [UW^TV^T |−u3]'
P´ 是第二个图像的投影矩阵。
这意味着 t 可能是 - 或 + 并且 R 可能完全不同？！
我发现我应该将一个点计算为 3D 并找出该点是否在两个摄像机的前面，然后我找到了正确的矩阵！
我在互联网上找到了其中一些代码，他只是说这没有进一步计算：
cv::Mat R1 = svd.u * cv::Mat(W) * svd.vt和t = svd.u.col(2); //=u3为什么这是正确的？如果不是 - 我将如何在 OpenCV 中进行这种三角测量？ 我将这个翻译与给我的翻译进行了比较。 （首先我必须将平移和旋转与 camera1 相关，但我现在得到了这个！）但它不一样。我的程序的值只是让我们称它为从正数跳到负数。但它应该更恒定，因为相机在一个恒定的圆圈中移动。 我确信某些轴可能会被切换。我知道翻译只是从 -1 到 1 但我认为我可以从我的结果中提取一个因素到我的比较值然后它应该是相似的。
以前有人做过类似的事情吗？
很多人通过使用棋盘进行相机校准，但我不能使用这种方法来获取外部参数。
我知道视觉 sfm 可以以某种方式做到这一点。 （在 youtube 上有一段视频，有人绕着一棵树走，并从这些图片中使用视觉 sfm 重建这棵树） 这和我必须做的差不多。
最后一个问题：
有人知道可视化我的 3D 点的简单方法吗？我更喜欢MeshLab。有这方面的经验吗？
【问题讨论】：
标签： opencv computer-vision camera-calibration