部分连接 CNN 中的卷积层答案

【问题标题】：Partially connect convolution layers in CNN部分连接 CNN 中的卷积层
【发布时间】：2018-01-31 15:44:15
【问题描述】：

我认为卷积层应该是全连接的（参见this 和this）。也就是说，每个特征图都应该连接到前一层的所有特征图。但是，当我查看this CNN 可视化时，第二个卷积层并没有与第一个完全连接。具体来说，第二层中的每个特征图都连接到第一层中的 3~6 个（全部）特征图，我看不到其中的任何模式。问题是

【问题讨论】：

【解决方案1】：

神经网络具有显着的特性，即知识不会专门存储在任何地方，而是以分布式的方式存储。如果你使用一个工作网络，你通常可以剪掉大部分，仍然得到一个工作大致相同的网络。

一个相关的影响是确切的布局不是很关键。 ReLu 和 Sigmoid (tanh) 激活函数在数学上非常不同，但两者都工作得很好。同样，层中节点的确切数量并不重要。

从根本上说，这与这样一个事实有关，即在训练中您会优化所有权重以最小化您的误差函数，或者至少找到一个局部最小值。只要有足够的权重并且足够独立，就可以优化误差函数。

不过，还有另一个影响需要考虑。权重过多且训练数据不足，您无法很好地优化网络。正则化只有这么多帮助。 CNN 的一个关键见解是，它们的权重比完全连接的网络要少，因为 CNN 中的节点仅连接到前一层中的一个小的局部节点邻域。

因此，这个特定的 CNN 的连接比所有特征图都连接的 CNN 更少，因此权重也更少。这允许您为给定数量的数据拥有更多和/或更大的地图。这是最好的解决方案吗？也许——选择最好的布局仍然是一门玄学。但这不是先验的不合理。

【讨论】：