深度可分离卷积(总结)

深度可分离卷积 = 深度卷积(Depthwise Convolution) + 逐点卷积(Pointwise Convolution)。

深度卷积

分组卷积(Group Convolution)：
输入通道数c_in，输出通道数c_out, 将输入feature map分为G组，每组分别卷积，最后进行拼接。

分组卷积作用：

1. 参数量减少为原来的1/G
   分组前：c_in * c_out * k^2
   分组后：(c_in / G) * (c_out / G) * k^2 * G
2. 分组卷积可看做结构化稀疏(structured sparse)，相当于正则。

分组卷积中，令分组数 G = c_in = c_out，分组卷积就成了深度卷积，参数量进一步减少。

深度可分离卷积

逐点卷积就是1x1的普通卷积。
因为深度卷积没有融合通道间信息，所以需要配合逐点卷积使用。