SyncBatchNorm 的最小总批量大小是多少

Question

对于普通的BatchNorm，每个 GPU 的最小批量大小为 2。

我想知道我是否使用SyncBatchNorm，我是否可以为每个具有多个 GPU 的 GPU 使用 batch_size=1？

即，total_batch_size 大于 1，但 batch_size_per_gpu 为 1。

我希望得到任何深度学习框架、pytorch、tensorflow、mxnet 等的答案

Answer 1

对于 PyTorch，使用 batch_size_per_gpu=1 和多个 GPU 即可。