[Papers-Image fusion]2018_03

【Papers-ImageFusion】2018-03-09

　　本周完成情况：

　　一、论文阅读

　　1.论文标题：《Pixel-level image fusion: A survey of the state of the art》2017的Information Fusion

　　2.论文内容：a.对最先进的像素级图像融合方法进行全面的调查；b.总结现有的融合质量评价方法；c.分析了四个主要应用，即遥感，医学诊断，监视，摄影分别在像素级图像融合应用中的挑战；d.得出结论：在不同的图像融合应用中仍然存在几种未来方向。

　　3.重点内容：a.图像融合主要可以分为三个阶段：图像变换，变换系数的融合以及逆变换

　　　 i)图像变换，可以分为四种：（1）基于多尺度分解的方法; （2）基于稀疏表示的方法; （3）直接对图像像素或其他变换域（如主成分空间或强度 - 色调 - 饱和度颜色空间）进行融合的方法。（4）结合多尺度分解，稀疏表示，主成分分析和其他变换的方法。

　　　　 ii)变换系数的融合

b.客观融合评估指标

　　　　i)带参考图像（requiring a reference image）

　　　　ii)不带参考图像（without requiring a reference image）

　　　　c.四个主要应用的挑战

　　　　i)遥感：光谱和空间的信息扭曲；误匹配

　　　　ii)医学诊断：缺乏临床问题导向的融合方法；客观的融合性能评估

　　　　iii)监视：计算效率；不完美的环境条件

　　　　iv)摄影：移动目标的影响；应用于消费电子产品

　　　　d.未来可能的研究方向

　　　　i)遥感：在融合的时候减少视觉扭曲；输入图像需要精准的匹配

　　　　ii)医学诊断：输入图像需要精准的匹配；设计针对特定临床问题的方法

　　　　iii)监视：融合方法计算效率要高达到实时效果；考虑融合方法的鲁棒性

　　　　iv)摄影：解决移动物体产生的鬼影问题；应用到电子产品中

　　二、准备开题工作

　　1.继续查阅相关资料完善开题报告和开题PPT内容

　　三、准备秋招面试工作

　　1.复习经典的机器学习算法，深度学习及计算机视觉

　　2.加强python，matlab编程能力

【Papers-ImageFusion】2018-03-016

　　本周完成情况：

　　一、完成开题工作

　　　　确定开题题目为《结合显著度和深度信息的运动修复方法研究》，明确研究内容和方法，对开题报告内容做修改

　　　　1.显著性检测 2.多聚焦融合 3.图像修复

　　二、准备秋招面试

　　　　1.准备机器学习算法（SVM，CNN，LR(Linear Regression)，决策树等）

　　　　2.熟悉经典深度学习网络结构（LeNet，GooLeNet，MobileNet，SPPNet，ResNet等）

　　下周计划：

　　一、阅读显著性检测论文（图像和视频显著性），并做相关实验

　　二、准备秋招面试

【Papers-ImageFusion】2018-03-023

　　本周完成情况：

　　一、论文阅读

　　《论文一》

　　1.论文标题：《Generative Adversarial Nets》2014年GAN的开山之作

　　2.论文内容：a. GAN有两个部分，第一部分是生成器Generator，第二部分是判别器Discriminator。

　　　　　　　　b. Generator输入时随机变量vector（噪声），输出是一个经过层层反卷积出来的图片。 Discriminator是一个判别器，依次输入真实的图片和generator产生的图片。Discriminator需要做到能够正确的区分两者，而generator需要做的是尽量产生足够真实的图片来混淆Discriminator。

　　　　　　　　c. 两个相互对抗，最后使得Generator能够从噪声中产生足够真实的图片出来，让discriminator无法区分生成的图片是real还是fake。

　　3.重点内容：GAN模型没有损失函数，优化过程是一个“二元极小极大博弈（minimax two-player game）”问题:
　　

　　这是关于判别网络D和生成网络G的价值函数（Value Function），训练网络D使得最大概率地分对训练样本的标签（最大化log D(x)），训练网络G最小化log(1 – D(G(z)))，即最大化D的损失。训练过程中固定一方，更新另一个网络的参数，交替迭代，使得对方的错误最大化，最终，G 能估测出样本数据的分布。生成模型G隐式地定义了一个概率分布Pg，我们希望Pg 收敛到数据真实分布Pdata。论文证明了这个极小化极大博弈当且仅当Pg = Pdata时存在最优解，即达到纳什均衡，此时生成模型G恢复了训练数据的分布，判别模型D的准确率等于50%。

　　4.存在的问题：a. 训练不收敛和容易崩溃，因为没有损失函数，在训练过程中很难看到进展，生成器开始退化，总是生成同样的样本点，无法继续学习。

　　　　　　　　　 b. 模型过于自由不可控，GAN无需预先建模，不再要求一个假设的数据分布，当然这也是GAN的最大优势。

　　《论文二》

　　1.论文标题：《Deep Convolution Generative Adversarial Networks》2016年DCGANs　　

　　2.论文内容：考虑到卷积神经网络在有监督学习中的各项任务上都有很好的表现，但在无监督学习领域，却比较少。本文介绍的算法将有监督学习中的CNN和无监督学习中的GAN结合到了一起。

　　3.重点内容：a.针对GAN的训练过程不稳定，CNN的网络拓扑结构设置了一系列的限制来使得它可以稳定的训练；

　　　　　　　　b. 使用得到的特征表示来进行图像分类，得到比较好的效果来验证生成的图像特征表示的表达能力；

　　　　　　　　c. 网络模型结构上做了一些变化，并在论文中展示了生成的特征表示的向量特性。

　　二、准备秋招面试

　　　　1.复习之前做过的小项目

　　　　2.复习机器学习算法

　　　　3.学习深度学习Caffe，Tensorflow

【Papers-ImageFusion】2018-03-30

　　本周完成情况：

　　一、论文阅读

　　1.论文标题：《Conditional Generative Adversarial Nets》

　　2.论文内容：因为最先Goodfellow提出的GAN，不需要预先建模的方法，太过自由了。于是同年，Mirza等人就提出了一种Conditional Generative Adversarial Networks，这是一种带条件约束的生成对抗模型，它在生成模型（G）和判别模型（D）的建模中均引入了条件变量y，这里y可以是label，可以是tags，可以是来自不同模态的数据，甚至可以是一张图片，使用这个额外的条件变量，对于生成器对数据的生成具有指导作用，因此，Conditional Generative Adversarial Networks也可以看成是把无监督的GAN变成有监督模型的一种改进，这个改进也被证明是非常有效的，为后续的相关工作提供了指导作用。

　　3.重点内容：于是我们希望得到一种条件型的生成对抗网络，通过给GAN中的G和D增加一些条件性的约束，来解决训练太自由的问题。

　　将GAN最先提出的价值函数（value function）

　　增加约束条件后改为：

　　在判别器模型中，label标签y与真实数据x作为输入，并输入到一个判别函数当中。实际上就是将z和x分别于y进行concat，分别作为生成器和判别器的输入，再来进行训练。

　　二、论文实验

　　根据上篇经典论文找到对应源代码，运行相关实验，并对源码结合论文进行理解分析。

　　主要的生成器和判别器代码：

　　实验截图如下（将y的label设为7）：