虚拟批标准化和批标准化有什么区别？答案

【问题标题】：What is the difference between virtual batch normalization and batch normalization?虚拟批标准化和批标准化有什么区别？
【发布时间】：2018-11-27 18:07:16
【问题描述】：

我知道什么是批标准化，但我不太了解如何进行虚拟批标准化。您如何选择参考样品？

【问题讨论】：

标签： machine-learning neural-network batch-normalization

【解决方案1】：

不同之处在于，前者的每个批次 x 都是基于对参考批次示例收集的统计信息进行归一化的，这些示例选择一次并在训练开始时固定，但在后者中，批次本身是归一化的.后者受到每个小批量内样本相互依赖性的影响。

我想这就像你在locally weighted linear regression中选择查询点的方式一样。你只需要根据你的经验选择一个。

事实上，demo in the official repository 在开始训练时只是使用了第一批。

if not hasattr(self, name):
    vbn = VBN_cls(tensor, name, half=half)
    setattr(self, name, vbn)
    return vbn.reference_output

如果在整个训练过程中保持不变，您可以选择任何批次作为参考批次。

【讨论】：