该文章从本质上分析了密集网络和残差网络的起源和本质以及残差网络与密集网络的优缺点，残差网络的有点在于他可以使信息快速向后流动并且可以加速网络收敛，使网络更容易训练，缺点在于残差网络会在同一个位置也就是高频的位置叠加大量的信息（像素）可能会造成信息流失，密集网络的优点在于可以防止图像信息丢失，但缺点在于由于将所有生成的特征图都进行拼接所以可能包含大量冗余信息，为了解决这些问题本文章从这两个网络的根源寻找了一个解决办法提出了一个混合连接网络。
密集网络和残差网络的本质为密集拓扑网络，即连接点上的c表示此节点之前所有层的连接操作，连接操作包括多方面比如卷积，concat，跳转连接等等非线性操作，比如密集网络为把密集拓扑网络的连接操作实例化为concat，残差网络为把密集拓扑网络的连接操作实例化为跳转连接，由残差网络与密集网络都有很好的表现效果但由于残差网络只有逐元素相加，密集网络只有拼接所以使他们都有缺陷因此把他们合并在一起从而解决这个问题，提出了一个mixed link network ，如图
首先提出了一个mixed link architecture，此结构中包含一个内部链接和一个外部链接，外部链接在此处就为一个concat操作，
主要为内部链接，此处内部链接为一个移位相加的操作，与残差不同，此处移位相加较为灵活，可很好地缓解在同一特征处像素过度堆叠导致信息丢失
比较有意思的是，我们最初混合的是非常自由的【图二(a)】，但是这样的自由带来了一些问题。一个最主要的问题就是inner link部分的位置不知道如何自由地控制—因为这个不是一个可导的变量，随着网络的加深，位置组合量爆炸增长，无法搜索。因此在这里我们的网络退而求其次用有规律的方法尽量缓解残差网络与密集网络的问题，如图所示当生成的特征图数与原特征图数相等时此结构根据连接的不同会退化成密集网络或残差网络即因为MixNet是一种非常泛化的结构，所以当inner link，outer link，和fixed/unfixed的这些超参数取到一些特定的值和情况的时候，我们的网络就退化成了ResNet，DenseNet以及去年360在NIPS上提出的Dual Path Network（DPN）。DPN其实是基本上完全保留了ResNet和DenseNet两个通路分量，是我们的inner link module取fixed的一种特殊情况，我们的网路为根据卷积等操作生成特征图后将特征图分成等量的两份，即64会被分成32,32，前32张特征图作为残差加上初始特征图的最后32张，另外32张特征图作为密集网络被concat到初始特征图后，这样切割生成特征图的方法不仅没有丢失通过卷积生成的特征图的信息（部分被直接融合入初始特征图，还有一部分被拼接到初始特征图上），另外该网络也很好的解决了残差和密集网络的问题，即由于残差在不断进行移位相加，即不断右对齐因此不会出现所有信息都加在高频部分上，而加在所增加的密集部分上也可以使密集部分上的特征呈现出不同于初始特征图通过密集网络输入进来的特征，减少冗余。并且由于减少了拼接后的特征图层数从而很好地减少了参数。
相关文章：