为什么 batch_normalization 在训练 = True 时产生全零输出，但在训练 = False 时产生非零输出？

Question

我正在关注 Tensorflow 教程 https://www.tensorflow.org/guide/migrate。这是一个例子：

def model(x, training, scope='model'):
  with v1.variable_scope(scope, reuse=v1.AUTO_REUSE):
    x = v1.layers.conv2d(x, 32, 3, activation=v1.nn.relu,
          kernel_regularizer=lambda x:0.004*tf.reduce_mean(x**2))
    x = v1.layers.max_pooling2d(x, (2, 2), 1)
    x = v1.layers.flatten(x)
    x = v1.layers.dropout(x, 0.1, training=training)
    x = v1.layers.dense(x, 64, activation=v1.nn.relu)
    x = v1.layers.batch_normalization(x, training=training)
    x = v1.layers.dense(x, 10)
    return x
train_data = tf.ones(shape=(1, 28, 28, 1))
test_data = tf.ones(shape=(1, 28, 28, 1))
train_out = model(train_data, training=True)
test_out = model(test_data, training=False)
print(train_out)
print(test_out)

training=True 所在的 train_out

tf.Tensor([[0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]], shape=(1, 10), dtype=float32)

而 training=False 的 test_out 是随机的非零向量

tf.Tensor(
[[ 0.379358   -0.55901194  0.48704922  0.11619566  0.23902717  0.01691487
   0.07227738  0.14556988  0.2459927   0.2501198 ]], shape=(1, 10), dtype=float32)

看了https://www.tensorflow.org/api_docs/python/tf/keras/layers/BatchNormalization的文档，还是不明白为什么？救命！

Answer 1

为什么batch_normalization在训练时会产生全零输出= 是的

这是因为您的批量大小 = 1。

批量归一化层使用每个通道的批量均值和批量标准差对其输入进行归一化。

当batch size为1且flatten后，每个channel中只有一个单值，所以batch mean（对于那个channel）本身就是单值，从而在batch normalization层之后输出一个零张量.

但在训练时产生非零输出 = False？

在推理过程中，批归一化层通过使用批均值和 SD 的移动平均值而不是当前批均值和 SD 来归一化输入。

移动均值和SD分别初始化为零和一，并逐渐更新。因此，移动均值不等于开始时每个通道中的单个值，因此该层不会输出零张量。

结论：使用批量大小 > 1 并输入具有随机值/实际数据值的张量，而不是所有元素都相同的 tf.ones()。