论文阅读：Multi-scale Optimal Fusion model for single image dehazing

代码：https://github.com/phoenixtreesky7/mof_dehazing

目录

• 1. 摘要
• 2. 提出的方法
• 2.1 大气散射模型和暗通道先验
• 2.2 MOF
• 1) 获取$\boldsymbol{W}_{t m e}$Wtme​&$\boldsymbol{W}_{\overline{t m e}}$Wtme​
• 2) 单尺度融合模型
• 3) 多尺度融合模型
• 2.3 后处理
• 1) 快速梯度域引导图像滤波(GD-GIF)
• 2) 曝光度增强
• 3. 读后感

1. 摘要

    逐像素（pixel-wise）估计传输率图会导致过饱和，而逐块（patch-wise）估计会导致边缘的传输率错误估计（Transmission MisEstimated，TME），从而引起去雾图像的边缘伪影。如下图1所示。本文提出了一种Multi-scale Optimal Fusion（MOF）模型，该模型原理为在边缘使用逐像素估计，而在非边缘处使用逐块估计。同时，还提出了两种预处理方法提升该模型的鲁棒性和减少计算复杂度。

图1 两种传输率图估计方法的结果对比

2. 提出的方法

2.1 大气散射模型和暗通道先验

    太基础，不做介绍。
$\boldsymbol{I}(\boldsymbol{x})=\boldsymbol{J}(\boldsymbol{x}) \cdot t(\boldsymbol{x})+\boldsymbol{A}(1-t(\boldsymbol{x})) \tag{1}$I(x)=J(x)⋅t(x)+A(1−t(x))(1)

$d_{\Omega}(\boldsymbol{x})=\min _{\boldsymbol{y} \in \Omega(\boldsymbol{x})}\left[\min _{c \in\{\boldsymbol{r}, g, b\}} \boldsymbol{I}^{c}(\boldsymbol{y})\right] \tag{2}$dΩ​(x)=y∈Ω(x)min​[c∈{r,g,b}min​Ic(y)](2)

$\begin{aligned} & t_{p a}(\boldsymbol{x})=1-\alpha \min _{\boldsymbol{y} \in \Omega(\boldsymbol{x})}\left[\min _{c \in\{r, g, b\}} \frac{\boldsymbol{I}^{c}(\boldsymbol{y})}{\boldsymbol{A}^{c}}\right] \\ & t_{p i}(\boldsymbol{x})=1-\alpha \left[\min _{c \in\{r, g, b\}} \frac{\boldsymbol{I}^{c}(\boldsymbol{y})}{\boldsymbol{A}^{c}}\right] \end{aligned} \tag{3}$​tpa​(x)=1−αy∈Ω(x)min​[c∈{r,g,b}min​AcIc(y)​]tpi​(x)=1−α[c∈{r,g,b}min​AcIc(y)​]​(3)

    $t_{p a}$tpa​为逐块传输率，$t_{p i}$tpi​为逐像素传输率。
$\boldsymbol{J}(x)=\frac{\boldsymbol{I}(x)-\boldsymbol{A}}{t(x)}+\boldsymbol{A} \tag{4}$J(x)=t(x)I(x)−A​+A(4)

2.2 MOF

    本文的思想为结合两种传输率估计方法。具体而言，就是在边缘使用逐像素估计，而在非边缘使用逐块估计。如下图2所示，图2(a)为蓝色虚线框处边缘区域（即TME区域），图2(b)为该模型的核心思想（详见后文）。

图2 MOF模型思想

    该模型的公式化如下：
$t_{mof}(\boldsymbol{x})=\boldsymbol{W}_{t m e}(\boldsymbol{x}) \cdot t_{p i}(\boldsymbol{x})+\boldsymbol{W}_{\overline{t m e}}(\boldsymbol{x}) \cdot t_{p a}(\boldsymbol{x}) \tag{5}$tmof​(x)=Wtme​(x)⋅tpi​(x)+Wtme​(x)⋅tpa​(x)(5)

    $t_{mof}$tmof​为该模型得到的理想传输率图，$t_{pi}$tpi​和$t_{pa}$tpa​为逐像素和逐块传输率图，$\boldsymbol{W}_{t m e}$Wtme​和$\boldsymbol{W}_{\overline{t m e}}$Wtme​为结合$t_{pi}$tpi​和$t_{pa}$tpa​两者的权重。因为$0 < t_{mof}(\boldsymbol{x}) < 1$0<tmof​(x)<1，所以$\boldsymbol{W}_{t m e}+\boldsymbol{W}_{\overline{t m e}} = 1$Wtme​+Wtme​=1。
    正如前文所说，该模型原理为在边缘使用逐像素估计，而在非边缘处使用逐块估计。转换为数学公式，即在TME区域，最小化$t_{mof}$tmof​和$t_{pi}$tpi​和的差异，在非TME区域，最小化$t_{mof}$tmof​和$t_{pa}$tpa​的差异。结合$(5)$(5)，有：
$\begin{aligned} &\boldsymbol{W}_{\overline{t m e}}(\boldsymbol{x}) \approx 0 \text { and } \boldsymbol{W}_{t m e}(\boldsymbol{x}) \approx 1, \quad \boldsymbol{x} \in T M E\\ &\boldsymbol{W}_{t \overline{m e}}(\boldsymbol{x}) \approx 1 \text { and } \boldsymbol{W}_{t m e}(\boldsymbol{x}) \approx 0, \quad \boldsymbol{x} \notin T M E \end{aligned} \tag{6}$​Wtme​(x)≈0 and Wtme​(x)≈1,x∈TMEWtme​(x)≈1 and Wtme​(x)≈0,x∈/​TME​(6)

    如图2(b)所示。
    该模型的目标函数如下：
$\min _{t_{mof}}\left\|\boldsymbol{W}_{{t m e}} \cdot t_{mof}-t_{{pi}}\right\|_{2}^{2}+\left\|\boldsymbol{W}_{\overline{t m e}} \cdot t_{mof}-t_{{pa}}\right\|_{2}^{2} +\lambda_{t}\left\|1-t_{mof}\right\|_{2}^{2}+\boldsymbol{R}\left(t_{mof}\right) \\ \tag{7}$tmof​min​∥Wtme​⋅tmof​−tpi​∥22​+∥Wtme​⋅tmof​−tpa​∥22​+λt​∥1−tmof​∥22​+R(tmof​)(7)
    $\lambda_t$λt​为标准化系数，用于避免无效输出。$\boldsymbol{R}\left(t_{mof}\right)$R(tmof​)为平滑项。因为$\boldsymbol{W}_{t m e}$Wtme​和$\boldsymbol{W}_{\overline{t m e}}$Wtme​为TME区域的掩模，所以首先需要从图像中识别出TME区域。

1) 获取$\boldsymbol{W}_{t m e}$Wtme​&$\boldsymbol{W}_{\overline{t m e}}$Wtme​

    从$(3)$(3)分析可知，TME区域可以大致的用如下公式提取：
$D_{t}=\max \left[\left(1-\alpha d_{p a}\right)-\left(1-\alpha d_{p i}\right), 0\right] \tag{8}$Dt​=max[(1−αdpa​)−(1−αdpi​),0](8)

    其中，$d_{pa}$dpa​和$d_{pi}$dpi​为$\boldsymbol{I} / \boldsymbol{A}$I/A的逐块和逐像素的暗通道。

    由上可知：
$d_{pa} = \min\limits_{y \in \Omega(x)}[\min\limits_{c \in \{r, g, b\}}\frac{I^c(y)}{A^c}]$dpa​=y∈Ω(x)min​[c∈{r,g,b}min​AcIc(y)​]

$d_{pi} = \min\limits_{c \in \{r, g, b\}}\frac{I^c(y)}{A^c}$dpi​=c∈{r,g,b}min​AcIc(y)​

    在非TME区域，$d_{pa}$dpa​和$d_{pi}$dpi​两者相近，而在TME区域，$d_{pa}$dpa​要小于$d_{pi}$dpi​。根据这一特性，可以提取TME区域。

    如图3所示，图3(a)为$D_t$Dt​，包含了很多纹理信息。但是判别TME区域不需要这些纹理信息，所以通过高斯滤波器进行滤波，结果（用$D_g$Dg​表示）如图3(b)所示。之后再通过$tanh$tanh函数增强对比度，结果（用$D_f$Df​表示）如图3(c)所示。可以到看，纹理信息很平滑，但是边缘信息仍然保留着。
    定义$\boldsymbol{W}_{t m e} = D_f$Wtme​=Df​，$\boldsymbol{W}_{\overline{t m e}} = 1 - D_f$Wtme​=1−Df​。

图3 TME提取过程图

2) 单尺度融合模型

    由上定义$\boldsymbol{W}_{t m e} = D_f$Wtme​=Df​，$\boldsymbol{W}_{\overline{t m e}} = 1 - D_f$Wtme​=1−Df​，$(7)$(7)重写为：
$\min _{t_{mof}}\left\|D_f \cdot t_{mof}-t_{{pi}}\right\|_{2}^{2}+\left\|(1 - D_f) \cdot t_{mof}-t_{{pa}}\right\|_{2}^{2} +\lambda_{t}\left\|1-t_{mof}\right\|_{2}^{2}+\boldsymbol{R}\left(t_{mof}\right) \\ \tag{9}$tmof​min​∥Df​⋅tmof​−tpi​∥22​+∥(1−Df​)⋅tmof​−tpa​∥22​+λt​∥1−tmof​∥22​+R(tmof​)(9)
    从$(9)$(9)中不容易直接求出$t_{mof}$tmof​，转化为下面两个步骤求解：

1. 去除平滑项，直接求解下式：
   $t_{m o f}(x)=\frac{D_{f}(x) \cdot t_{p i}(x)+\left(1-D_{f}(x)\right) \cdot t_{p a}(x)+\lambda_{t}}{D_{f}^{2}(x)+\left(1-D_{f}(x)\right)^{2}+\lambda_{t}} \tag{10}$tmof​(x)=Df2​(x)+(1−Df​(x))2+λt​Df​(x)⋅tpi​(x)+(1−Df​(x))⋅tpa​(x)+λt​​(10)

    本文中，$\lambda_t = 10^{-6}$λt​=10−6。

2. 通过快速GD-GIF平滑$t_{mof}$tmof​，下面再讨论。

3) 多尺度融合模型

    上述单尺度融合模型中，逐块估计传输率的块大小，该模型不能很好的处理不同分辨率的图像。因此作者提出了多尺度融合模型，即选择多个块大小的逐块融合传输率图，通过权重进行融合求得最终$t_{mof}$tmof​。具体如下。
    首先，需要确定不同的块大小$r^j(j = 1, 2, ..., \beta)$rj(j=1,2,...,β)：
$r^{j}=\lfloor 2 j \cdot \log (w \times h)\rfloor-1, \quad j=1,2, \ldots, \beta \tag{11}$rj=⌊2j⋅log(w×h)⌋−1,j=1,2,…,β(11)

    有了不同尺度的块，通过$(10)$(10)可以求得$t_{mof}^j$tmofj​，对于所有$t_{mof}^j$tmofj​，通过不同权重融合成最终$t_{mof}$tmof​：
$t_{m o f}=\sum_{j}^{\beta} v^{j} \cdot t_{m o f}^{j}, \quad j=1,2, \ldots, \beta \tag{12}$tmof​=j∑β​vj⋅tmofj​,j=1,2,…,β(12)

    $v_j$vj​为第$j$j个尺度逐块估计传输率的权重，$\sum_{j}^{\beta} v^{j} = 1$∑jβ​vj=1，定义如下：
$\boldsymbol{v}^{j}=\frac{e^{\tau \cdot|r(\beta-j+1)-1|}}{\sum_{i}^{\beta} e^{\tau \cdot|r(i)-1|}}, \quad j=1,2, \ldots, \beta \tag{13}$vj=∑iβ​eτ⋅∣r(i)−1∣eτ⋅∣r(β−j+1)−1∣​,j=1,2,…,β(13)

    $\tau$τ为比例控制因子，$\tau$τ越大表示权重的不均匀性越大。本文中，$\tau = 0.138$τ=0.138。
    通常在该模型中，$J = 2$J=2。

2.3 后处理

1) 快速梯度域引导图像滤波(GD-GIF)

    为了抑制$(12)$(12)结果的纹理，增加对$t_{mof}$tmof​的快速GD-GIF。

原理详见Gradient Domain Guided Image Filter。

2) 曝光度增强

    $t_{pa}$tpa​通常比$t_{mof}$tmof​要大，这就导致通过$t_{mof}$tmof​处理后的图像会偏暗。为了解决这一问题，增加如下自适应的曝光度拉伸：
$\min _{S}\left\|1-S \cdot\left(\boldsymbol{I}_{Y} / \boldsymbol{J}_{Y}\right)\right\|_{2}^{2}+\lambda_{e}\|S-1\|_{2}^{2}+R(S) \tag{14}$Smin​∥1−S⋅(IY​/JY​)∥22​+λe​∥S−1∥22​+R(S)(14)

    这里没看懂。

3. 读后感

    本文提出了一种解决逐块估计传输率固有的一个诟病“边缘伪影”的方法。实验结果不错，但是运行时间不是很理想，因为本方法中用到了许多技术，都是比较耗时的。