综述
寒假学习Gram matrix。感触比较深,ml机器学习(含dl深度学习)真的是越来越重要了,作为一个计算机专业的学生,看到了很多效果奇佳方法涌现,心里感慨万千。
介绍
学习资源来自网络
为了简单说明Gram Matrix需要首先说明feature map:
为了学习对象的feature。所以假设我们加到100种滤波器,每种滤波器的参数不一样,表示它提出输入图像的不同特征,如:边缘、条纹等。这样每种滤波器去卷积图像就得到对图像的不同特征,我们称之为Feature Map。所以100种卷积核就有100个Feature Map。这100个Feature Map就组成了一层神经元。一般来说浅层网络提取的是局部的细节纹理特征,深层网络提取的是更抽象的轮廓、大小等信息。这些特征总的结合起来表现出来的感觉就是图像的风格。Feature Map中,每个数字都来自于一个特定滤波器filter或者核kernel在特定位置的卷积,因此每个数字代表一个特征的强度。本质就是特征的提取量化。
进一步得到这些特征向量后,就可以计算Gram Matrix。简言之Gram Matrix就是k个特征向量之间的内积组成的矩阵——可以被看作feature之间的偏心协方差矩阵(没有减去均值)。如果两个图像的特征向量的Gram矩阵的差异较小,在风格迁移中,就可以认定这两个图像是相近的。Gram计算的实际上是两两特征之间的相关性,哪两个特征是同时出现的,哪两个是此消彼长的等等,同时,Gram的对角线元素,还体现了每个特征在图像中出现的量。