【发布时间】：2018-03-28 01:41:37
【问题描述】：
我可以在输入层之后立即使用批量规范化层而不规范化我的数据吗？我可以期望获得类似的效果/性能吗？
在 keras 函数式中，它会是这样的：
x = Input (...)
x = Batchnorm(...)(x)
...
【问题讨论】：
标签： machine-learning neural-network keras artificial-intelligence batch-normalization
【发布时间】：2018-03-28 01:41:37
【问题描述】：
你可以做到。但是，除了激活分布稳定之外，batchnorm 的好处是均值和标准差可能会随着网络的学习而迁移。
实际上，在输入层之后设置 batchnorm 是一个花哨的数据预处理步骤。它有时很有帮助（例如在线性回归中）。但是一次计算整个训练样本的均值和方差比逐批学习更容易、更有效。请注意，batchnorm 在性能方面并不是免费的，您不应滥用它。
【讨论】：
-
如何提前标准化整个数据（例如通过standardscaler）并同时使用批量标准化？
-
如果要标准化输入，是否需要始终在 Inputlayer 之后添加 BN 层？如果我在 Inputlayer 之前添加 BN 会发生什么？
-
@AleB 查看kaggle.com/ryanholbrook/…，您可以添加BN 作为输入，它充当sklearn.StandardScaler()