其实上卷积或者说转置卷积(这个更准确)的应用相当广泛,涉及可视化/像素级
预测/无监督学习/图像生成。
更具体地说:
(1)无监督学习:传统的卷积操作是从原始图像中得到特征图,tran-conv可以通过无监督学习帮助找到核和特征图来重建图像。就像 [1],[2] 中描述的卷积稀疏编码。
(2)CNN可视化[3]:通过将CNN-conv学习到的特征图还原为像素图,我们可以弄清楚什么样的模式可以激活这些特征图。
(3)upsampling[4][5]:就像你在FCN和U-Net中说的,max-pooling操作缩小了图像的大小,所以我们需要做upsampling,也可以通过trans-conv来做。不同之处在于 train-conv 是可学习的上采样。参数可以在训练过程中学习。
由于 padding 始终是 trans-conv 的第一步,所以现在有不同种类的 padding 方法可能导致不同的 de-conv 方法。
[1] Zeiler M D、Krishnan D、Taylor G W 等。反卷积网络[C]。计算机视觉和模式识别,2010。
[2] Zeiler M D、Taylor G W、Fergus R 等。用于中高级特征学习的自适应反卷积网络[C]。计算机视觉国际会议,2011 年。
[3] Zeiler M D,Fergus R. 可视化和理解卷积网络[C]。欧洲计算机视觉会议,2013 年。
[4] Long J, Shelhamer E, Darrell T, et al.Fully convolutional networks for semantic segmentation[C]。计算机视觉和模式识别,2015 年。
[5] 使用深度卷积生成对抗网络的无监督表示学习