CNN可视化
研究背景/WHY
- CNN具有__强大的特征抽取能力__，在许多视觉任务上已经超越人类性能；
- 深度学习模型一直存在可解释性差的问题。目前没有完善的理论可以描述CNN的本质，人类也很难理解网络学到的表征以及作出的决策；
- 研究CNN可视化，有助于我们进一步理解CNN的本质，明白CNN的作用机理，帮助模型优化和debugging，促进CNN在实际任务中的应用（特别是医疗、军事等领域）
前向计算：可视化特征图或卷积核（学到了哪些信息）
反向计算：将特征图映射到像素空间（哪些像素影响了模型的决策）
研究方法/HOW
可视化特征图
Method1：直接可视化feature map
主要思想：通过可视化不同层的feature map，展示输入图像被decompose的过程
分析：随着模型层级升高：低层特征——>高层特征；密集——>稀疏；通用——>专一化；和原图像素相关的特征——>类别相关的特征；
Method2.1：CAM（Class Activation Mapping）
问题：如何解释决策结果？
主要思想：类**图（CAM）是指经过类加权的最后一层特征图集重叠而成的特征图，最终呈现为可解释分类结果的热力图，显示了每个位置对该类别的重要程度。
GAP代替全连接层的优点：
- 降低维度，防止过拟合
- 不再限制输入大小
- 减少大量参数的同时保持高性能
- 能保留空间信息并定位
缺点：需要重新训练模型！