Keras Conv2D 和输入通道

Question

Keras 层文档指定了卷积层的输入和输出大小： https://keras.io/layers/convolutional/

输入形状：(samples, channels, rows, cols)

输出形状：(samples, filters, new_rows, new_cols)

并且内核大小是一个空间参数，即仅确定宽度和高度。

因此，无论c 的值如何，带有c 通道的输入都会产生带有filters 通道的输出。因此，它必须应用带有空间height x width 过滤器的二维卷积，然后以某种方式为每个学习的过滤器聚合结果。

这个聚合运算符是什么？它是跨渠道的总和吗？我可以控制它吗？我在 Keras 文档中找不到任何信息。

• 请注意，在 TensorFlow 中，过滤器也在深度通道中指定： https://www.tensorflow.org/api_guides/python/nn#Convolution, 这样深度操作就很清楚了。

谢谢。

Answer 1

它被称为 Conv2D 层可能会令人困惑（对我来说，这就是我来寻找这个答案的原因），因为正如 Nilesh Birari 评论的那样：

我猜你错过了它的 3D 内核 [宽度、高度、深度]。所以结果是跨渠道求和。

也许2D源于内核只沿二维滑动，第三维是固定的，由输入通道的数量（输入深度)。

如需更详细的解释，请阅读https://petewarden.com/2015/04/20/why-gemm-is-at-the-heart-of-deep-learning/

我从那里提取了一张说明性图片：

Answer 2

我也想知道这一点，并找到了另一个答案here，其中有说明（强调我的）：

也许多通道输入最明显的例子是当您有一个具有 3 个 RGB 通道的彩色图像时。让我们把它放到一个有 3 个输入通道和 1 个输出通道的卷积层。 (...) 它的作用是计算每个滤波器与其相应输入通道的卷积 (...)。所有通道的步幅相同，因此它们输出的矩阵大小相同。现在，它将所有矩阵相加并输出一个矩阵，该矩阵是卷积层输出的唯一通道。

插图：

请注意，每个通道的卷积核的权重是不同的，然后在反向传播步骤中通过例如基于梯度体面的算法，例如随机梯度下降 (SDG)。

这是来自TensorFlow API 的更技术性的回答。

Answer 3

我还需要说服自己，所以我运行了一个带有 3×3 RGB 图像的简单示例。

# red    # green        # blue
1 1 1    100 100 100    10000 10000 10000
1 1 1    100 100 100    10000 10000 10000    
1 1 1    100 100 100    10000 10000 10000

过滤器被初始化为1：

1 1
1 1

我还将卷积设置为具有以下属性：

• 无填充
• 步幅 = 1
• relu 激活函数
• 偏置初始化为 0

我们希望（聚合的）输出是：

40404 40404
40404 40404

另外，从上图中，没有。参数是

3 个单独的过滤器（每个通道一个）×4 权重 + 1（偏差，未显示）= 13 个参数

---

这是代码。

导入模块：

import numpy as np
from keras.layers import Input, Conv2D
from keras.models import Model

创建红色、绿色和蓝色通道：

red   = np.array([1]*9).reshape((3,3))
green = np.array([100]*9).reshape((3,3))
blue  = np.array([10000]*9).reshape((3,3))

堆叠通道以形成 RGB 图像：

img = np.stack([red, green, blue], axis=-1)
img = np.expand_dims(img, axis=0)

创建一个只进行 Conv2D 卷积的模型：

inputs = Input((3,3,3))
conv = Conv2D(filters=1, 
              strides=1, 
              padding='valid', 
              activation='relu',
              kernel_size=2, 
              kernel_initializer='ones', 
              bias_initializer='zeros', )(inputs)
model = Model(inputs,conv)

在模型中输入图片：

model.predict(img)
# array([[[[40404.],
#          [40404.]],

#         [[40404.],
#          [40404.]]]], dtype=float32)

运行一个summary得到参数个数：

model.summary()