PyTorch BatchNorm1D、2D、3D 和 TensorFlow/Keras BatchNormalization

【问题标题】：PyTorch BatchNorm1D, 2D, 3D and TensorFlow/Keras BatchNormalizationPyTorch BatchNorm1D、2D、3D 和 TensorFlow/Keras BatchNormalization
【发布时间】：2020-11-01 17:11:18
【问题描述】：

我想在 TensorFlow 的 PyTorch 中使用 BatchNorm1D。我注意到 TF 中的 BatchNormalization() 默认有 axis=-1。在 PyTorch 中，BatchNorm1D, BatchNorm2D, BatchNorm3D 的哪个轴是正确的？

【问题讨论】：

标签： tensorflow keras pytorch

【解决方案1】：

这取决于您订购的尺寸。

Pytorch 在轴 = 1 上执行其批处理规范。但它也有 axis=1 的张量作为卷积通道。

Tensorflow 在卷积的最后一个轴上有通道。所以它的 batchnorm 把它们放在 axis=-1 中。

在大多数情况下，使用默认设置应该是安全的。

【讨论】：