卷积神经网络 - 多通道答案

【问题标题】：Convolutional Neural Networks - Multiple Channels卷积神经网络 - 多通道
【发布时间】：2015-02-27 23:31:56
【问题描述】：

当输入层存在多个通道时，卷积操作是如何进行的？（例如 RGB）

在阅读了 CNN 的架构/实现之后，我了解到特征图中的每个神经元都引用了由内核大小定义的图像的 NxM 像素。然后每个像素由学习到的 NxM 权重集（内核/滤波器）的特征图分解、求和，然后输入到激活函数中。对于一个简单的灰度图像，我想该操作将遵循以下伪代码：

for i in range(0, image_width-kernel_width+1):
    for j in range(0, image_height-kernel_height+1):
        for x in range(0, kernel_width):
            for y in range(0, kernel_height):
                sum += kernel[x,y] * image[i+x,j+y]

        feature_map[i,j] = act_func(sum)
        sum = 0.0

但是我不明白如何扩展此模型以处理多个渠道。每个特征图是否需要三个单独的权重集，在每种颜色之间共享？

参考本教程的“共享权重”部分：http://deeplearning.net/tutorial/lenet.html 特征图中的每个神经元都引用第 m-1 层，其中颜色来自不同的神经元。我不明白他们在这里表达的关系。神经元是内核还是像素，为什么它们引用图像的不同部分？

根据我的示例，单个神经元内核似乎专属于图像中的特定区域。为什么他们将 RGB 分量拆分到多个区域？

【问题讨论】：

我投票结束这个问题，因为它属于 stats.stackexchange

标签： computer-vision artificial-intelligence neural-network convolution

【解决方案1】：

当输入层存在多个通道时，卷积操作是如何进行的？（例如 RGB）

在这种情况下，您有每个输入通道有一个 2D 内核（也称为平面）。

因此，您分别执行每个卷积（2D 输入、2D 内核）并将贡献相加，从而得到最终的输出特征图。

请参考CVPR 2014 tutorial Marc'Aurelio Ranzato的幻灯片64：

每个特征图是否需要三个单独的权重集，在每种颜色之间共享？

如果您考虑给定的输出特征图，您有 3 x 2D 内核（即每个输入通道一个内核）。每个 2D 内核沿整个输入通道（此处为 R、G 或 B）共享相同的权重。

所以整个卷积层是一个 4D 张量（nb. 输入平面 x nb. 输出平面 x 内核宽度 x 内核高度）。

他们为什么将 RGB 分量拆分到几个区域？

如上所述，将每个 R、G 和 B 通道视为具有专用 2D 内核的独立输入平面。

【讨论】：

2D conv kernel 不是在所有三个通道之间共享？认为 conv 层是 1 * conv_kernel_num * kernel_width * kernel_height 张量。如果 conv 内核不在通道之间共享，我可以将 conv 内核解释为 kernel_width * kernel_height * channel_num（在这种情况下为 3）张量吗？

【解决方案2】：

例如，如果您的输入图像大小为 W x H x C，其中 W、H 和 C 表示宽度、高度和通道大小的长度。过滤器（又名内核）的维度将是 K x K x C，其中 K 表示内核维度的长度。使用max 聚合不同渠道的结果无法区分渠道之间的细微差别，这不是我们想要的。如下图所示（source），输入数据大小为 6 x 6 x 3。单元（过滤器）的数量为 2，每个单元的维度为 3 x 3 x 3。输出为 4 x 4 x 2。因此，通常需要在每个过滤器下单独处理通道。

【讨论】：

【解决方案3】：

Max 不太有意义，因为渠道应该是独立的。从不同通道上的不同过滤器获取最大结果是将不同方面混合在一起。

为了组合来自不同通道的输出，基本上我们需要一个函数来将输出相加。在我看来，这里添加函数的选择可能会因用例而异。根据 pytorch conv2d implementation，一种实现只是进行求和。详情见https://pytorch.org/docs/stable/nn.html

【讨论】：

请在此处添加链接中的相关部分。