算法评价和误差分析

• 记号：x$x$表示测量值，x^$\hat{x}$表示估计值，x¯$\overline{x}$表示真值

• RMS(均方根)残差
  

  εres=[12n∑i=1nd(x′i,x^′i)2]1/2$${\epsilon }_{res}=[\frac{1}{2n}\sum _{i=1}^{n}d(x_i^{\prime },{\hat{x}}_i^{\prime }{)}^2{]}^{1/2}$$
  
  
  εres=[14n(∑i=1nd(x′i,x^′i)2+∑i=1nd(xi,x^i)2)]1/2$${\epsilon }_{res}=[\frac{1}{4n}(\sum _{i=1}^{n}d(x_i^{\prime },{\hat{x}}_i^{\prime }{)}^2+\sum _{i=1}^{n}d(x_i,{\hat{x}}_i{)}^2){]}^{1/2}$$

• 重要结论：考虑一个估计问题，其中N个测量由依赖于d个本质参数集的函数模型化，假定每个测量变量有标准差σ$\sigma$的独立高斯噪声
  （1）ML估计算法的RMS残差（测量值到估计值的距离）是
  

  εres==E[||X^−X||/N]1/2=σ(1−d/N)1/2$${\epsilon }_{res}==E[||\hat{X}-X||/N{]}^{1/2}=\sigma (1-d/N{)}^{1/2}$$
  
  （2）ML估计算法的RMS估计误差（测量值到真值的距离）是
  
  εest==E[||X^−X¯||/N]1/2=σ(d/N)1/2$${\epsilon }_{est}==E[||\hat{X}-\overline{X}||/N{]}^{1/2}=\sigma (d/N{)}^{1/2}$$

• 单图像误差
  

  εres=σ(1−4/n)1/2$${\epsilon }_{res}=\sigma (1-4/n{)}^{1/2}$$
  
  
  εest=σ(4/n)1/2$${\epsilon }_{est}=\sigma (4/n{)}^{1/2}$$

• 重投影误差
  

  εres=σ(n−42n)1/2$${\epsilon }_{res}=\sigma (\frac{n-4}{2n}{)}^{1/2}$$
  
  
  εest=σ(n+42n)1/2$${\epsilon }_{est}=\sigma (\frac{n+4}{2n}{)}^{1/2}$$

变换估计的协方差

• 协方差的前向传播
  结论1：令v$v$是RM$R^M$中的一个具有均值v¯$\overline{v}$和协方差矩阵Σ$\mathrm{\Sigma }$的随机变量，假定f:RM↦RN$f:R^M\mapsto R^N$是一个仿射映射：定义为f(v)=f(v¯)+A(v−v¯)$f(v)=f(\overline{v})+A(v-\overline{v})$。那么f(v)$f(v)$是一个具有均值f(v¯)$f(\overline{v})$和协方差矩阵AΣAT$A\mathrm{\Sigma }{A}^T$的随机变量
  结论2：令v$v$是RM$R^M$中的一个具有均值v¯$\overline{v}$和协方差矩阵Σ$\mathrm{\Sigma }$的随机变量，假定f:RM↦RN$f:R^M\mapsto R^N$在v¯$\overline{v}$的邻域可微，那么在精确到一阶近似的程度。那么f(v)$f(v)$是一个具有均值f(v¯)$f(\overline{v})$和协方差矩阵JΣJT$J\mathrm{\Sigma }{J}^T$的随机变量，其中J$J$是f$f$的雅可比矩阵在v¯$\overline{v}$的值。v$v$方差越小，线性近似越精确

• 协方差的反向传播
  仿射情形，令f:RM↦RN$f:R^M\mapsto R^N$是形为f(P)=f(P¯)+J(P−P¯)$f(P)=f(\overline{P})+J(P-\overline{P})$的仿射映射，其中,J$J$的秩等于M$M$。令X$X$是RN$R^N$中的一个具有均值X¯=f(P¯)$\overline{X}=f(\overline{P})$和协方差矩阵Σ$\mathrm{\Sigma }$的随机变量。令f−1oη:RN↦RM$f^{-1}o\eta :R^N\mapsto R^M$是一个映射，它把测量矢量X$X$映射到对应于ML估计X^$\hat{X}$的参数矢量P$P$。那么P¯=f−1oη(X)$\overline{P}=f^{-1}o\eta (X)$是一个具有均值P¯$\overline{P}$的随机变量，其协方差矩阵是ΣP=(JTΣ−1XJ)−1${\mathrm{\Sigma }}_P=(J^T{\mathrm{\Sigma }}_X^{-1}J{)}^{-1}$
  非线性情形，令f:RM↦RN$f:R^M\mapsto R^N$是一个可微映射，而J$J$是它在点P¯$\overline{P}$处的雅可比矩阵。假定J$J$的秩等于M$M$，则f$f$在P¯$\overline{P}$的领域是一一对应的。令X$X$是RN$R^N$中的一个具有均值X¯=f(P¯)$\overline{X}=f(\overline{P})$和协方差矩阵Σ$\mathrm{\Sigma }$的随机变量。令f−1oη:RN↦RM$f^{-1}o\eta :R^N\mapsto R^M$是一个映射，它把测量矢量X$X$映射到对应于ML估计X^$\hat{X}$的参数矢量P$P$。那么在一阶精度下，P¯=f−1oη(X)$\overline{P}=f^{-1}o\eta (X)$是一个具有均值P¯$\overline{P}$的随机变量，其协方差矩阵是ΣP=(JTΣ−1XJ)−1${\mathrm{\Sigma }}_P=(J^T{\mathrm{\Sigma }}_X^{-1}J{)}^{-1}$

• 超参数化，J$J$的秩是d<M$d<M$
  协方差的反向传播，超参数情形。令f:RM↦RN$f:R^M\mapsto R^N$是一个可微映射，它把一组参数P¯$\overline{P}$映射到测量矢量X$X$。令SP$S_P$是嵌入RM$R^M$中过点P¯$\overline{P}$的d$d$维光滑流形并使得映射f$f$在流形SP$S_P$上的P¯$\overline{P}$的一个邻域内是一一对应的，f$f$把Sp$S_p$邻域映射到RN$R^N$上的流形f(SP)$f(S_P)$。函数f$f$有一个局部逆函数，记为f−1$f^{-1}$，它限制在曲面f(Sp)$f(S_p)$上X¯$\overline{X}$的一个邻域内。定义RN$R^N$上一个具有均值X¯$\overline{X}$和协方差Σx${\mathrm{\Sigma }}_x$的高斯分布，并令η:RN↦f(Sp)$\eta :R^N\mapsto f(S_p)$把RN$R^N$的点映射到f(SP)$f(S_P)$上并在Mathlanobis范数||.||Σx$|{|}^{.}|{|}_{{\mathrm{\Sigma }}_x}$意义下最近的点。RN$R^N$上具有协方差矩阵Σx${\mathrm{\Sigma }}_x$的概率分布通过f−1oη$f^{-1}o\eta$诱导RM$R^M$上的概率分布，它在一阶精度下的协方差矩阵是

  Σp=(JTΣ−1xJ)+A=A(ATJTΣ−1xJA)−1AT$${\mathrm{\Sigma }}_p=(J^T{\mathrm{\Sigma }}_x^{-1}J{)}^{+A}=A(A^T{J}^T{\mathrm{\Sigma }}_x^{-1}JA{)}^{-1}{A}^T$$
  
  其中A$A$是任意m×d$m\times d$矩阵，它的列矢量生成Sp$S_p$的过点P¯$\overline{P}$的切空间
  

  反向传播过程：X↦f(Sp)↦P$X\mapsto f(S_p)\mapsto P$

结论：令f:RM↦RN$f:R^M\mapsto R^N$是一个可微映射，它把一组参数P¯$\overline{P}$映射到测量矢量X¯$\overline{X}$，并令J$J$为f$f$的雅可比矩阵。设RN$R^N$上一个具有协方差矩阵Σx${\mathrm{\Sigma }}_x$的高斯分布定义在X¯$\overline{X}$，同时令f−1oη:RN↦RM$f^{-1}o\eta :R^N\mapsto R^M$是把一个测量X$X$映射到约束在局部正交于J$J$的零空间曲面Sp$S_p$上的MLE参数矢量P$P$的映射。那么f−1oη$f^{-1}o\eta$诱导在RM$R^M$上的一个分布，它的协方差矩阵在一阶精度下是Σp=(JTΣ−1xJ)+${\mathrm{\Sigma }}_p=(J^T{\mathrm{\Sigma }}_x^{-1}J{)}^{+}$
当约束是||P||=1$||P||=1$时，满足约束在局部正交于J$J$的零空间曲面Sp$S_p$上的MLE参数矢量P$P$

应用

• 单图像误差变换H的协方差矩阵
  (1)计算H^$\hat{H}$
  (2)计算Jf=∂X′/∂h$J_f=\mathrm{\partial }{X}^{\prime }/\mathrm{\partial }h$
  (3)Σp=(JTfΣ−1X′Jf)+${\mathrm{\Sigma }}_p=(J_f^T{\mathrm{\Sigma }}_{X^{\prime }}^{-1}{J}_f{)}^{+}$

• 估计点转移的误差，x$x$是没有用于计算H$H$的点，x′=Hx$x^{\prime }=Hx$
  

  Σx′=JhΣhJTh+JxΣxJTx$${\mathrm{\Sigma }}_{x^{\prime }}=J_h{\mathrm{\Sigma }}_h{J}_h^T+J_x{\mathrm{\Sigma }}_x{J}_x^T$$

• 当x$x$距离计算H$H$的点集较远时，误差更大