keras 中的 BatchNormalization 是如何工作的？

Question

我想知道Keras中BatchNormalization是如何工作的，所以我写了代码：

X_input = keras.Input((2,))
X = keras.layers.BatchNormalization(axis=1)(X_input)
model1 = keras.Model(inputs=X_input, outputs=X)

输入是一批二维向量，并沿axis=1对其进行归一化，然后打印输出：

a = np.arange(4).reshape((2,2))
print('a=')
print(a)
print('output=')
print(model1.predict(a,batch_size=2))

输出是：

a=
array([[0, 1],
   [2, 3]])
output=
array([[ 0.        ,  0.99950039],
   [ 1.99900079,  2.9985013 ]], dtype=float32)

我无法弄清楚结果。据我所知，批次的平均值应该是 ([0,1] + [2,3])/2 = [1,2]，var 是 1/2*(([0,1] - [1,2])^2 + ([2,3]-[1,2])^2) = [1,1]。最后用 (x - mean)/sqrt(var) 对其进行归一化，因此结果是 [-1, -1] 和 [1,1]，我哪里错了？

Answer 1

BatchNormalization 将减去均值，除以方差，应用因子 gamma 和偏移 beta。 如果这些参数实际上是批次的均值和方差，则结果将以零为中心，方差为 1。

但他们不是。 keras BatchNormalization layer 将这些存储为可以训练的权重，称为 moving_mean、moving_variance、beta 和 gamma .它们被初始化为 beta=0、gamma=1、moving_mean=0 和 moving_variance=1。由于您没有任何训练步骤，因此 BatchNorm 不会更改您的值。

那么，为什么不准确地获得输入值呢？因为还有另一个参数 epsilon（一个小数字），它被添加到方差中。因此，所有值都除以 1+epsilon 并最终低于其输入值。