keras 中的 Flatten() 和 GlobalAveragePooling2D() 有什么区别

Question

我想将 ConvLSTM 和 Conv2D 的输出传递到 Keras 中的 Dense Layer，使用全局平均池化和 flatten 有什么区别 两者都适用于我的情况。

model.add(ConvLSTM2D(filters=256,kernel_size=(3,3)))
model.add(Flatten())
# or model.add(GlobalAveragePooling2D())
model.add(Dense(256,activation='relu'))

Answer 1

两者似乎都有效并不意味着它们的作用相同。

Flatten 将采用任何形状的张量并将其转换为一维张量（加上样本维度），但将所有值保留在张量中。例如，张量 (samples, 10, 20, 1) 将被展平为 (samples, 10 * 20 * 1)。

GlobalAveragePooling2D 做了一些不同的事情。它在空间维度上应用平均池化，直到每个空间维度为一，而其他维度保持不变。在这种情况下，值不会保留，因为它们是平均的。例如，张量 (samples, 10, 20, 1) 将输出为 (samples, 1, 1, 1)，假设第 2 和第 3 维是空间的（通道在后）。

Answer 2

扁平化很简单，它只是通过重新排列元素将多维对象转换为一维对象。

虽然 GlobalAveragePooling 是一种用于更好地表示矢量的方法。它可以是 1D/2D/3D。它使用一个解析器窗口，该窗口在对象上移动并通过平均数据（GlobalAveragePooling）或选取最大值（GlobalMaxPooling）来汇集数据。基本上需要填充来考虑极端情况。

两者都用于以更简单的方式考虑排序的影响。

Answer 3

如果你更有信心，你可以自己测试 Flatten 和 GlobalPooling 之间的区别，并与 numpy 进行比较

我们使用一批具有这种形状(batch_dim, height, width, n_channel)的图像作为输入进行演示

import numpy as np
from tensorflow.keras.layers import *

batch_dim, H, W, n_channels = 32, 5, 5, 3
X = np.random.uniform(0,1, (batch_dim,H,W,n_channels)).astype('float32')

• Flatten 接受至少 3D 的输入张量。它使用这种格式(batch_dim, all the rest) 对 2D 输入进行整形。在我们的 4D 案例中，它以 (batch_dim, H*W*n_channels) 的格式进行重塑。

  np_flatten = X.reshape(batch_dim, -1) # (batch_dim, H*W*n_channels)
  tf_flatten = Flatten()(X).numpy() # (batch_dim, H*W*n_channels)
  
  (tf_flatten == np_flatten).all() # True
  

• GlobalAveragePooling2D 接受 4D 张量作为输入。它对所有通道的高度和宽度维度进行平均。得到的维度是 2D (batch_dim, n_channels)。 GlobalMaxPooling2D 做同样的事情，但使用最大操作。

  np_GlobalAvgPool2D = X.mean(axis=(1,2)) # (batch_dim, n_channels)
  tf_GlobalAvgPool2D = GlobalAveragePooling2D()(X).numpy() # (batch_dim, n_channels)
  
  (tf_GlobalAvgPool2D == np_GlobalAvgPool2D).all() # True
  

Answer 4

Flatten 层的作用

经过卷积运算，tf.keras.layers.Flatten 会将张量重塑为(n_samples, height*width*channels)，例如将(16, 28, 28, 3) 转换为(16, 2352)。让我们试试吧：

import tensorflow as tf

x = tf.random.uniform(shape=(100, 28, 28, 3), minval=0, maxval=256, dtype=tf.int32)

flat = tf.keras.layers.Flatten()

flat(x).shape

TensorShape([100, 2352])

GlobalAveragePooling 层的作用

在卷积操作之后，tf.keras.layers.GlobalAveragePooling 层确实是根据最后一个轴对所有值进行平均。这意味着生成的形状将是(n_samples, last_axis)。例如，如果你的最后一个卷积层有 64 个过滤器，它将把 (16, 7, 7, 64) 变成 (16, 64)。让我们在一些卷积操作之后进行测试：

import tensorflow as tf

x = tf.cast(
    tf.random.uniform(shape=(16, 28, 28, 3), minval=0, maxval=256, dtype=tf.int32),
    tf.float32)


gap = tf.keras.layers.GlobalAveragePooling2D()

for i in range(5):
    conv = tf.keras.layers.Conv2D(64, 3)
    x = conv(x)
    print(x.shape)

print(gap(x).shape)

(16, 24, 24, 64)
(16, 22, 22, 64)
(16, 20, 20, 64)
(16, 18, 18, 64)
(16, 16, 16, 64)

(16, 64)

你应该使用哪个？

Flatten 层将始终具有至少与GlobalAveragePooling2D 层一样多的参数。如果展平前的最终张量形状仍然很大，例如(16, 240, 240, 128)，则使用Flatten 将产生大量参数：240*240*128 = 7,372,800。这个巨大的数字将乘以下一个密集层中的单元数！那时，GlobalAveragePooling2D 在大多数情况下可能是首选。如果你使用MaxPooling2D 和Conv2D 如此之多以至于你在展平之前的张量形状就像(16, 1, 1, 128)，它不会有什么不同。如果你过度拟合，你可能想试试GlobalAveragePooling2D。