在本地 gpu 和 colab gpu 上进行分布式训练

【问题标题】：Distributed training over local gpu and colab gpu在本地 gpu 和 colab gpu 上进行分布式训练
【发布时间】：2020-07-08 14:49:29
【问题描述】：

我想微调 ALBERT。

我看到可以使用 tensorflow 在多个 GPU 上分配神经网络训练：https://www.tensorflow.org/guide/distributed_training

我想知道是否可以在我的笔记本电脑的 gpu 和 colab gpu 之间分配微调？

【问题讨论】：

【解决方案1】：

我认为这是不可能的。因为为了进行 GPU 分布式训练，您的 GPU 之间需要 NVLink。您的笔记本电脑的 GPU 和 Colab GPU 之间没有这种联系。这是一本好书https://lambdalabs.com/blog/introduction-multi-gpu-multi-node-distributed-training-nccl-2-0/

【讨论】：