【发布时间】：2019-08-19 18:35:20
【问题描述】：
我知道这可能是一个愚蠢的问题，但我对机器学习和 ANN 有点陌生。
深度卷积神经网络和密集卷积神经网络有什么区别吗？
提前致谢！
【问题讨论】：
-
我投票结束这个问题，因为它与编程无关
-
没有密集的CNN...
标签： machine-learning neural-network deep-learning conv-neural-network
【发布时间】：2019-08-19 18:35:20
【问题描述】：
Dense CNN 是一种 Deep CNN，其中每一层都与比自身更深的另一层相连。
这是什么意思？
在普通的 CNN 中，每一层都只连接到它的兄弟姐妹。考虑 4 层，L1 的输出只连接到 L2，L2 的输出只连接到 L3，L3 的输出只连接到 L4。
在一个密集的 CNN 中，考虑 4 层，L1 的输出连接到 L2、L3、L4，L2 的输出连接到 L3、L4，L3 的输出连接到 L4。
这里有一张图来说明它（图片来源来自this论文）：
为什么我们需要这样做？
如今，我们拥有 100 层甚至更多层的神经网络。使用反向传播训练神经网络。在该算法中，成本函数的梯度（导数）用于更新每一层的权重。对于每个新层，梯度的值都会减小，特别是在使用 sigmoid 时。这会导致训练时间更长，有时甚至根本不训练。这个问题也被称为梯度消失。 Dense CNN 中的直接连接解决了这个问题。
与普通 CNN 相比，密集 CNN 也不太容易过拟合。
更多阅读this论文，很容易理解。
【讨论】：