第12章——投影与三位视觉

这里写目录

• 投影
• 仿射变换和透视变换
• POSIT：3D姿态估计
• 立体成像
• 三角测量
• 对极几何
• 本征矩阵和基础矩阵
• 极线的计算
• 立体标定
• 立体校正
• 立体匹配
• 从三维重投影获得深度映射
• 来自运动的结构
• 二维和三维下的直线拟合

投影

仿射变换和透视变换

POSIT：3D姿态估计

立体成像

两台摄像机的立体成像过程包括：

1. 消除畸变
2. 摄像机矫正
3. 图像匹配
4. 重投影

三角测量

十分理想化的模型
摄像机前向平行排列：两摄像机①像平面共面；②光轴平行；③距离一定；④焦距相同；⑤校准后主点具有相同的像素坐标⑥图像平面行对准

-c_l，c_r：左右像平面的主点。
-p_l，p_r：点P在左右图像（投影）平面的成像点。
-x_l，x_r：p_l，p_r相应的横坐标
-T：
-Z：

视差：d = x_l - x_r
由三角形相似可知：
由表达式可以看出：

1. 深度和视差成反比；
2. 深度和视差的关系为非线性的；
3. 当视差较大时，微小的视差几乎不影响深度的变化；当视差趋于0时，微小的视差会引起巨大的深度变化。
   视差较小时才能较为精确判断深度。

而现实问题上，两相机很难做到前向平行排列，比如图像平面不共面（如下图）

如果物理上矫正难免存在一些误差，因此我们需要用数学方法去补偿（矫正）。但是呢，为了使数学变换更简单（稍稍矫正），往往还要加上必要的物理对准，比如使摄像机尽可能前向对准、水平对准。

摄像机同步？？？

同针孔摄像机模型，先讨论最简单的情况，然后通过转换，把复杂问题简单化
牢记目的：摄像机前向平行排列，为此引入对极几何
☟☟☟☟☟☟

对极几何

-O_l， O_r：连摄像机的投影中心。
极点：投影中心O_l， O_r的连线与图像（投影）平面的交点。
极线：投影点p_l， p_r分别于与极点O_l， O_r的连线。
极面：观测点P与两个投影中心，三点确定的面PO_lO_r。
在此仅

本征矩阵和基础矩阵

极线的计算

立体标定

立体校正

立体匹配

从三维重投影获得深度映射

来自运动的结构

二维和三维下的直线拟合