先讲Inverted residuals
就是普通卷积变为Depthwise Convolution+Pointwise Convolution，并且在前面增加一个1*1卷积升维，当然在做Pointwise Convolution的时候也会做相应降维
并且加了一个residuals的shortcut，这样就可以更多地叠加模块增加网络深度
为什么这么做？
=》DW+PW的卷积减少了参数量，但会损失特征，而通道越多保留的特征越多，所以要做expansion
Linear bottleneck
就是上图最后一个Pointwise convolution后不做ReLu，直接输出(注意前面每步后面都加了ReLU的)
为什么这么做？
=》对低维特征做ReLU时会丢失很多信息
前面之所以用ReLU是因为前面做了一个升维(exapansion)操做，高维的就还好，而后面做PW会做降维，此时直接输出PW的结果
相关文章：