分布式火车中的pytorch批量标准化

Question

想知道分布式pytorch如何处理batch norm，当我添加一个batch norm层时，pytorch引擎会使用相同的allreduce调用来跨节点同步数据吗？或者批处理规范只发生在本地节点上。

Answer 1

类似于DataParallel（选中第一个警告框）。它将为每个节点（或更准确地说，每个 GPU）分别计算范数。它也不会同步标准的滚动估计，但最终会保留其中一个 GPU 的值。因此，假设示例随机分布在您的集群中，您的BatchNorm 将大致按预期工作，但由于有效样本量较小，它对归一化因子的估计会有更高的方差。