该篇播客介绍CAM系列的文章包括3个。CAM Grad_CAM Grad_CAM++
Learning Deep Features for Discriminative Localization
这篇文章2016年发表于CVPR。在flatten层使用全连接层能够破坏卷积层的特征(比如记住物体位置等)的基础上,研究了用GAP/GMP代替flatten层全连接层,用softmax作为输出层时,GAP与GMP的区别并且证明了GAP可以记住物体的位置,为了展示定位的效果,提出一直种新的可视化方法:CAM(class activation map)。
创新
- 证明了GAP不仅起到正则化、防止过拟合的作用,并且可以定位物体。
- 试验表明GAP(global average pool)更适用于定位,GAP与GMP在分类问题上作用相似。
- 提出CAM。
- 实验表明对于定位任务来说,最后一层卷积层即在GAP之前,特征图分辨率越大,结果越精确。
缺点
可以生成CAM的网络必须符合: 网络的结构为Conv->GAP(flatten层)->softmax.
CAM
class activation map。
过程:使用贡献正确预测类别的权重(w1、w2…)与最后一层特征图的每个通道分别相乘然后想加,最后在upsample到原图像大小即可。过程如下图所示。
Grad-CAM: Why did you say that? Visual Explanations from Deep Networks via Gradient-based Localization
这篇文章2017年发表于ICCV。