1 简介
本文依据2018年《Densely Connected Convolutional Networks》翻译总结。
Dense Convolutional Network (DenseNet)。说是比ResNet参数更少，效果却更好。
最主要的特点，如下图，每一层的输入是前面所有层输出的feature map。
DenseNet有如下好处：
- 缓解梯度消失问题；
- 增强特征传递；
- 有利于特征的重用；
- 减少参数数量。
2 相关工作
Highway Network使用gating units的bypassing path。
3 DenseNets
3.1 Dense connectivity
如前所述，第l层接收前面所有层的feature-maps。公式如下：
3.2 复合函数 H
上一节的H函数，包括3个连续操作：batch normalization、ReLU、3*3 conv。
3.3 Pooling layer –Block之间连接transition
不同block之间的特征map大小不同。通过transition层连接，包括1个BN、一个11卷积层、22 average pooling 层。
3.4 Growth rate –k
H函数产生k个feature-maps。第l层有k0+k*（l-1）的输入feature-maps。其中k0代表channel的数量。
3.5 DenseNet-B
每个层输出k个feature-maps，有点多，可以在输出前加BN-ReLU-11conv,即通过11conv减少输入feature-maps数量。当H函数是 BN-ReLU-Conv(11)-BN-ReLU-Conv(33) ,叫做 DenseNet-B。
3.6 DenseNet-C
在transition层，引入参数θ<1, 压缩模型，减少feature-maps数量。
3.7 完整的模型如下所示：
4 实验结果
可以看到DenseNet需要较少的参数取得很好的结果（较低的错误率）。