层归一化总是比深度学习的批量归一化更好吗

【问题标题】：Is layer normaization always better than batch normalization for deep learning层归一化总是比深度学习的批量归一化更好吗
【发布时间】：2023-03-19 05:47:02
【问题描述】：

最近开发的Layer Normalization 方法解决了与Batch Normalization 相同的问题，但计算开销较低且不依赖批处理，因此可以在训练和测试期间一致地应用。

我的问题是，层归一化总是比批量归一化更好，还是在某些情况下批量归一化可能是有益的？

【问题讨论】：

标签： normalization deep-learning

【解决方案1】：

在 Layer Normalization 的论文中，它说 Batch Normalization 对卷积神经网络效果更好。因此，这取决于应用程序类型。它给出了一个原因：如果每个神经元给出相似的贡献，那么移位和缩放将很好地工作，然而，在卷积网络中情况并非如此，因为在图像的边界处神经元的活动非常不同。因此，请尝试仅将其应用于全连接层和 RNN。虽然，至少对于前者，BN 也可能比 LN 表现更好，具体取决于批量大小和问题类型。

【讨论】：