1.基础矩阵
对极几何(Epipolar Geometry)描述的是两幅视图之间的内在射影关系,与外部场景无关,只依赖于摄像机内参数(K)和这两幅视图之间的相对位姿(R,T)。
两视图的对极几何可以理解为图像平面与以基线为轴的平面束相交的几何关系,其中主要有几种概念:
(1)基线(base line):两个相机中心的连线C0C1称为基线。
(2)对极点(epipolar):ee'是对极点,是基线与两个成像平面的交点,也就是两个相机在另一个成像平面上的像点。
(3)对极平面(epipolar plane):过基线的平面都称之为对极平面,其中两个相机的中心C和C',三维点X,以及三维点在两个相机成像点xx'这五点必定在同一对极平面上,当三维点X变化时,对极平面绕着基线旋转,形成对极平面束。
(4)对极线(epipolar line):是对极平面和成像平面的交线,所有的对极线都相交于极点。
对极约束是指在平面2上的p点在平面1上的对应点一定在基线I'上,这句话说明了对极约束是一个点到直线的射影映射关系。
推导:
假设我们有两台相机,已知相机的内参为K,K',而三维空间中的一个点,在两个相机的相机坐标系的坐标为X,X',在对应的图像坐标系的坐标为x,x'。
两个相机坐标系之间存在一个旋转R和一个平移T:
将(3)带入(2)中,得到:
由于相机的内参矩阵的对角线元素不为0,且为上三角矩阵,保证了K和K'的逆矩阵存在:
接着等式(5)两边乘上t的外积[t]x,其中[t]x*t=0:
化简得到:
再利用向量外积的另一特性:任一向量在外积运算后与自己内积结果为0。a*(bxa)=0,令:
得到:
展开得到:
则基础矩阵F为:
则本质矩阵E为:
2.如何求出基础矩阵