批量归一化与批量重归一化

Question

作为一个没有深厚统计学背景的人，有人可以向我解释一下批量重新规范化旨在解决的批量规范化的主要限制，特别是它与批量规范化的区别吗？

Answer 1

非常简单地说，批次标准化只是将每个批次重新调整为一个共同的均值和偏差。每个批次都是独立缩放的。批次重新归一化包括先前的归一化参数作为新计算的一部分，以便将每个批次归一化为所有批次通用的标准。这渐近地接近全局归一化，防止偏离中心的批次偏离所需中心的训练。