如何在张量流的二维卷积中连接两个不同形状的张量？答案

【问题标题】：How to concatenate two tensors with different shape in 2d convolution in tensorflow?如何在张量流的二维卷积中连接两个不同形状的张量？
【发布时间】：2020-08-27 15:36:42
【问题描述】：

在我的计算管道中，我使用了将创建自定义 keras 块的自定义函数，并且我多次使用该块与 Conv2D。最后，我得到了两个不同的张量，它们是具有不同张量形状的特征图：TensorShape([None, 21, 21, 64]) 和TensorShape([None, 10, 10, 192])。在这种情况下，使用tf.keras.layers.concatenate 进行连接对我不起作用。谁能指出我如何将这两个张量连接成一个？有什么想法可以实现吗？

如果我能够连接形状为TensorShape([None, 21, 21, 64]) 和TensorShape([None, 10, 10, 192]) 的张量，我想在连接后执行以下操作。

x = Conv2D(32, (2, 2), strides=(1,1), padding='same')(merged_tensors)
x = BatchNormalization(axis=-1)(x)
x = Activation('relu')(x)
x = MaxPooling2D(pool_size=(2,2))(x)
x = Flatten()(x)
x = Dense(256)(x)
x = BatchNormalization()(x)
x = Activation('relu')(x)
x = Dropout(0.25)(x)
x = Dropout(0.25)(x)
x = Dense(10)(x)
x = Activation('softmax')(x)
outputs = x

model = tf.keras.Model(inputs=inputs, outputs=outputs)

我尝试在 1D 卷积中重塑形状为 TensorShape([None, 21, 21, 64]) 和 TensorShape([None, 10, 10, 192]) 的张量并进行合并，然后将输出重塑回 2d 卷积。我的方法行不通。任何人都可以建议这样做的可能方式吗？有什么想法吗？

更新

我仍然不确定获得连接输出形状的方法是否会是TensorShape([None, 21+10, 21+10, 192+64])，因为我不确定它在数学角度是否有意义。如何轻松正确地进行这种连接？连接的正确形状是什么？有什么想法吗？

【问题讨论】：

标签： python tensorflow keras

【解决方案1】：

要操作连接，您应该提供具有相同形状的图层，除了连接轴...对于图像，如果您想在特征维度（轴 -1）上连接它们，图层必须具有相同的 batch_dim，宽度和高度。

如果你想强制操作你需要做一些与维度相等的事情。一种可能性是填充。下面是我在最后一维上连接两层的示例

batch_dim = 32
x1 = np.random.uniform(0,1, (batch_dim, 10,10,192)).astype('float32')
x2 = np.random.uniform(0,1, (batch_dim, 21,21,64)).astype('float32')

merged_tensors = Concatenate()([ZeroPadding2D(((6,5),(6,5)))(x1), x2]) # (batch_dim, 21, 21, 192+64)

使用池化而不是填充：

batch_dim = 32
x1 = np.random.uniform(0,1, (batch_dim, 10,10,192)).astype('float32')
x2 = np.random.uniform(0,1, (batch_dim, 21,21,64)).astype('float32')

merged_tensors = Concatenate()([MaxPool2D(2)(x2), x1]) # (batch_dim, 10, 10, 192+64)

【讨论】：