《论文阅读》Joint Demosaicing and Denoising with Self Guidance

留个笔记自用

Joint Demosaicing and Denoising with Self Guidance

做什么

Demosaicing and Denoising去马赛克和去噪，这里其实是两个功能，首先是去马赛克，它旨在通过滤色器阵列(CFA)后的不完全观察来重建全分辨率彩色图像，而去噪就更加常见了，指减少数字图像中噪声的过程称为图像去噪

做了什么

文章这里研究的方法是利用密度图和绿色通道进行引导的方法

需要了解一下什么是RGGB图片
拜尔滤色镜（英语：Bayer filter）是一种将RGB滤色器排列在光传感组件方格之上所形成的马赛克彩色滤色阵列。数码相机、录影器、扫描仪等使用的单片机数字图像传感器大多数用这种特定排列的滤色阵列来制作彩色影像。这种滤色器的排列有50%是绿色，25%是红色，另外25%是蓝色，因此也称做RGBG，GRGB，或者RGGB。

怎么做

首先先理解下结构输入的处理方式，这里输入的图片是一张RGGB图片，假设RGGB的维度为2H×2W，根据排列方式可知RGGB图片可分解为
且四个维度均为H×W×1
然后就是对整体结构分部分理解，可以分为2个部分，Density-map guidance密度图引导部分和Green-channel guidance绿色通道引导部分，这俩部分的引导也符合文章最开始的说法
根据上面得到的4张图，简单计算得到一张灰度图

鉴于以前的各种去噪方法，这里设计一张密度图，让网络知道输入图像每个位置的难度等级，即纹理密集的地方为高频区域，纹理稀疏的地方为低频区域


这里的g₁和g₂均为高斯模糊运算，K₁和K₂分别是不同的高斯核大小，这样就得到了一张密度图
最后再加上一张原图加上高斯噪声的噪声图I^noise


将其直接concatenate，就组成了处理后的input
之后是这里使用到的一个模块Residual-in-Residual Dense Block（RRDB）

从结构上看就是非常多的Dense Block和残差的组合，这个结构的作用是充分探索和提取局部信息。
结构中存在着2个RRDB

上面得到的是重建的绿色通道I_G（因为文中假设绿色通道蕴含着更容易的信息）下面得到的是重建的全体特征
然后就是结构中的另外一个模块fusion模块

这里的输入有重建的绿色通道I_G和全体特征
这里有一个特殊的地方，这里有使用一种空间自适应卷积运算，应用于主重建分支中的中间特征映射，以使积分过程适应绿色通道I_G的内容。空间自适应卷积是内容感知的，其中卷积在不同的位置以不同的方式进行。

这里的Ω是一个s×s的卷积窗口，W是卷积权重，f_i是图中的f在i位置的向量，G是一个高斯函数

最后是LOSS和训练
整体LOSS分为4个部分

首先是L_edge，这个LOSS为Adaptive-threshold edge loss即自适应阙值边缘损失
第一步先对网络输出结果I^o和I^T使用Canny边缘检测算法（上面有提到过），这里称得到的边缘二值图为E(I^O)和E(I^T)，但这里的结果可能并不满意，为了使其局部效果更加理想，将整张边缘二值图分为多个patch，这里假设为p_i，然后不同的patch定义不同的阙值

这里的S_Pi表示第i个patch中所有元素值得和，这样就得到了各个patch的自适应阙值
在前面我们得到了E(I^O)和E(I^T)，通过这两个就可以近似得到p(E(Pi; θi))，计算方法是通过计算被检测为边缘像素的像素的比例
之后就能定义LOSS


这里的E即为图I中边缘像素点的个数，这个LOSS希望局部边缘像素点的数量尽可能的接近GT，计算示例图????

之后是第二个LOSS，L_smooth


这里的O_h和O_v是垂直和水平向的梯度，梯度对象O是上面的模型预测的I_O，显然这个LOSS是为了让整个输出图片较为平滑，不会出现较突兀的色彩变动
然后就是最后两个LOSS

这两个LOSS就比较普通了。分别是网络预测结果I^o和GT图I^T的L1损失和I_G和GT的绿通道间的损失。

总结

1.RRDB结构也是一个寻找局部信息的优秀方法
2.自适应卷积的方法和很多根据特征决定dilated的做法有异曲同工之妙