Keras 中输入数据的规范化

Question

DL 中的一项常见任务是将输入样本标准化为零均值和单位方差。可以使用如下代码“手动”执行规范化：

mean = np.mean(X, axis = 0)
std = np.std(X, axis = 0)
X = [(x - mean)/std for x in X]

但是，除了正在训练的 Keras 模型之外，还必须保持均值和标准值左右，以标准化测试数据。既然 mean 和 std 是可学习的参数，也许 Keras 可以学习它们？像这样的：

m = Sequential()
m.add(SomeKerasLayzerForNormalizing(...))
m.add(Conv2D(20, (5, 5), input_shape = (21, 100, 3), padding = 'valid'))
... rest of network
m.add(Dense(1, activation = 'sigmoid'))

我希望你明白我的意思。

Answer 1

也许您可以使用sklearn.preprocessing.StandardScaler 来扩展您的数据， 此对象允许您将缩放参数保存在对象中， 然后你可以在你的模型中使用 Mixin 类型输入，比如说：

1. 你的模型
2. [param1_scaler, param2_scaler]

这是一个链接https://www.pyimagesearch.com/2019/02/04/keras-multiple-inputs-and-mixed-data/

https://keras.io/getting-started/functional-api-guide/

Answer 2

有BatchNormalization，它学习输入的均值和标准差。我没有尝试将它用作网络的第一层，但据我了解，它应该做的事情与您正在寻找的非常相似。

Answer 3

将BatchNormalization 添加为第一层，它按预期工作，但与 OP 的示例不完全相同。可以看详细解释here。

OP 的示例和批量标准化都在推理过程中使用输入数据的学习均值和标准差。但是 OP 的示例使用了一个简单的平均值，为每个训练样本赋予相同的权重，而 BatchNormalization 层使用移动平均值，赋予最近看到的样本比旧样本更大的权重。

重要的是，批量标准化在训练期间的工作方式与 OP 的示例不同。在训练期间，该层使用当前批次输入的均值和标准差对其输出进行归一化。

第二个区别是 OP 的代码产生的输出均值为 0，标准差为 1。 Batch Normalization 会学习输出的均值和标准差，从而改善整个网络的损失。要获得 OP 示例的行为，应使用参数 scale=False 和 center=False 初始化 Batch Normalization。

Answer 4

现在有一个用于此目的的 Keras 层，Normalization。在撰写本文时，它位于实验模块中，keras.layers.experimental.preprocessing。

https://keras.io/api/layers/preprocessing_layers/core_preprocessing_layers/normalization/

在您使用它之前，您调用图层的adapt 方法，并使用您想要从中导出比例的数据X（即平均值和标准差）。一旦你这样做了，规模是固定的（它在训练期间不会改变）。然后，无论何时使用模型（在训练和预测期间），都会将比例应用于输入。

from keras.layers.experimental.preprocessing import Normalization

norm_layer = Normalization()
norm_layer.adapt(X)
model = keras.Sequential()
model.add(norm_layer)
# ... Continue as usual.