CNN 中局部层和密集层之间的差异答案

【问题标题】：Difference between local and dense layers in CNNsCNN 中局部层和密集层之间的差异
【发布时间】：2016-03-27 10:06:15
【问题描述】：

卷积神经网络中的“局部”层和“密集”层有什么区别？我试图理解 TensorFlow 中的 CIFAR-10 代码，我看到它使用“本地”层而不是常规的密集层。 TF 中是否有任何类支持实现“本地”层？

【问题讨论】：

可能是密集连接的？那只是常规的“全连接层”。我在tensorflow.googlesource.com/tensorflow/+/master/tensorflow/… 中没有看到对“本地”层的任何引用
您可以在 CIFAR-10 示例代码的教程下找到本地层。
教程说：“练习：inference() 中的模型架构与 cuda-convnet 中指定的 CIFAR-10 模型略有不同。特别是，Alex 的原始模型的顶层是本地连接的，并且未完全连接。尝试编辑架构以在顶层精确重现本地连接的架构。”
例如，卷积层作为局部连接层的一个例子让我印象深刻。
谢谢，但是不是本地连接层变成了“卷积”层吗？据我了解，要么它应该是密集连接的，要么是一个卷积层......

【解决方案1】：

引用cuda-convnet:

Locally-connected layer with unshared-weight：这种层就像一个卷积层，但没有任何权重共享。也就是说，在输入图像中的每个 (x, y) 位置应用一组不同的过滤器。除此之外，它的行为与卷积层完全一样。

在 TensorFlow CIFAR-10 示例中，虽然这两个层被命名为 local3 和 local4，但它们实际上是全连接层，而不是 cuda-convnet 中指定的本地连接层（您可以看到pool2 的输出被展平为local3 层的输入）。

【讨论】：

【解决方案2】：

我在问题下引用了user2576346的cmets：

据我了解，要么是密集连接，要么是卷积层……

不，这不是真的。更准确的表述方式是，层要么是全连接的（密集的）要么是局部连接的。

卷积层是局部连接层的一个例子。通常，局部连接层是其中每个单元仅连接到输入的局部部分的层。卷积层是一种特殊类型的局部层，它表现出空间平移不变性，因为每个卷积特征检测器在局部接受窗口中跨过整个图像，例如例如，尺寸为 3x3 或 5x5。

【讨论】：