SENet论文笔记

《Squeeze-and-Excitation Networks》

该文章提出了一种新颖的网络结构，用于对每个通道的特征进行加权处理。在网络的训练过程中，会得到不同数量通道特征，在进行识别的过程中，每一个通道的特征的重要性都被视为是相同的来参与接下来的计算。SENet将不同特征通道的全局池化信息融合到了神经网络的训练过程中，从而能够利用网络的代价函数来对不同通道的权重进行训练。

网络结构：

结构解释

首先对于一个H′×W′×C′$H^{\prime }\times W^{\prime }\times C^{\prime }$的特征输入X$X$，进行Ftr$F_{tr}$操作，也就是常规的卷积操作，得到待处理的W×H×C$W\times H\times C$的特征图U$U$。接着对得到的U$U$分别进行两种操作：Fsq$F_{sq}$和Fscale$F_{scale}$。

首先是Fsq$F_{sq}$操作。作者在这里对于每一个通道都采用了一种全局平均池化的操作，即将特征图U$U$的C$C$个通道分别进行全局平均池化的操作，得到了一个1×1×C$1\times 1\times C$的特征图z$z$。数学表达形式如下：

zc=Fsq(uc)=1H×W∑i=1H∑j=1Wuc(i,j)$$z_c=F_{sq}(u_c)=\frac{1}{H\times W}\sum _{i=1}^H\sum _{j=1}^W{u}_c(i,j)$$

其中，uc$u_c$表示的是U$U$的第c$c$个通道。
接着，就是SENet思想最关键的部分了，即SENet将z$z$作为一个全连接神经网络的输入，该神经网络的权重为W$W$。Fex(∗,W)$F_{ex}(\ast ,W)$表示的是一个全连接层的计算过程。

作者将Fex(∗,W)$F_{ex}(\ast ,W)$的计算分成了两个部分，直观来看就是先对第一个全连接层进行计算，接着对第二个全连接层进行计算并输出结果为1×1×C$1\times 1\times C$的特征图。具体公式如下所示：

s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z))$$s=F_{ex}(z,W)=\sigma (g(z,W))=\sigma (W_2\delta (W_{1}z))$$

其中δ$\delta$表示的是RELU$RELU$函数，W1∈RCr×C$W_1\in R^{\frac{C}{r}\times C}$，且W2∈RRC×Cr$W_2\in R^{R^{C\times \frac{C}{r}}}$。计算得到的s$s$就是我们要求的不同通道特征图的权重系数。

得到了这个系数以后，通过与U$U$对应通道上的特征图进行相乘，以此来表示不同通道的特征图的重要性程度。具体形式如下式所示：

Xc~=Fscale(uc,sc)=sc⋅uc$$\widetilde{X_c}=F_{scale}(u_c,s_c)=s_c\cdot u_c$$

其中Xc~=[x1~,x2~,...,xc~]$\widetilde{X_c}=[\widetilde{x_1},\widetilde{x_2},...,\widetilde{x_c}]$。函数Fscale$F_{scale}$表示的是将每个通道的权重值sc∈R$s_c\in R$与对应通道的特征图uc∈RH×W$u_c\in R^{H\times W}$相乘。

与其他网络结构进行组合

与GoogleNet的Inception网络结构组合，得到的网络结构如下图所示：

与ResNet网络的Block进行组合得到的网络结构如下图所示：

结论

加入该网络结构后，可以提高网络的性能。