CNN 中的过滤器如何识别颜色？答案

【问题标题】：How can filters later in a CNN recognize color?CNN 中的过滤器如何识别颜色？
【发布时间】：2017-05-26 17:09:44
【问题描述】：

假设输入是 32x32 RGB 图像（即 32x32x3）。

如果第一层卷积网络上的 5x5x3 过滤器识别出绿红渐变，它会将其激活值记录在 28x28 特征图上（给定步幅为 1，填充为 0）。

那个特征图不包含关于颜色的信息，所以当它输入到下一个conv层时，conv2，那么conv2将只学习灰度过滤器。

那么，像这样的高级过滤器如何包含颜色信息？

从this 可视化来看，他们似乎甚至不关心颜色。此外，过滤器中的颜色似乎变得如此扭曲，以至于它们并不能真正描述类特征的样子。为了澄清我在说什么，请注意上图中的第三组过滤器。在自然界中，颜色不会以那种饱和的方式出现。我的直接反应是猜测它们看起来是为了使概括更容易。但是，由于大多数狗的面部特征没有这种颜色，因此对于面部内部有蓝色调的狗来说，高级过滤器不会对标记过程有害吗？

【问题讨论】：

标签： machine-learning computer-vision neural-network conv-neural-network

【解决方案1】：

那些过滤器不是正确的过滤器，除了左边的过滤器（第一层过滤器）。有过滤器的可视化。每个正方形是输入优化的结果，以便最大化特征图的值，对应于一个过滤器。因此，过滤器的可视化是与输入具有相同维度的图像。

第一层过滤器是 NxNx3（我认为在这种情况下 N = 7）。可以直接显示它们，而无需经过优化步骤。

【讨论】：

您是否有任何过滤器直接可视化的示例（标准化和缩放学习的过滤器，以便您可以将其直接渲染为图像？）？我很难找到能够清楚说明他们所做的例子。

【解决方案2】：

是的，你是对的，来自卷积层的特征图似乎是灰度的。如果你想分别可视化每个特征图，那么你只会看到一个灰度图像。你可以想出这样彩色图像的方法是组合 3 个过滤器（卷积特征图），为它们分配 R、G 和 B 值。在this lecture，您可以了解更多关于可视化技术的信息。

【讨论】：