Sina Weibo：小锋子Shawn
Tencent E-mail：[email protected]
http://blog.csdn.net/dgyuanshaofeng/article/details/79619995
http://blog.csdn.net/dgyuanshaofeng/article/details/79619995
1. 深度监督机制(Deep Supervision Mechanism)
在“shallow vs. deep”这个问题上，人们发现使用深度模型(deep models)更好。但是，由于梯度弥散或爆炸(gradients vanishing or exploding)使得训练深度模型成为一个具有挑战的任务。针对梯度弥散或爆炸问题，有很多工作出现，比如权重初始化方法，网络结构，监督机制，训练方法等等。
图 1 3D深度监督网络(3D DSN)
深度监督机制，如图1所示，就是底层和中层的特征图输出经过反卷积(Deconv)层，回到与label一样大小的分辨率/空间大小，经过softmax+交叉熵/负对数似然，求得损失；高层的特征图输出自然也求得损失，然后三个损失进行加权求和，并被最小化。其实，这种深度监督机制在GoogLeNet上采用过，如图2所示。再往前就是2D分类网络DSN了。
图 2 GoogLeNet
2. 实验结果
2.1 可加速神经网络收敛，更小化损失
图 3
2.2 可获得更平滑的卷积核，更明显的模式
图 4