用多个 GPU 训练一个模型

【问题标题】：Training one model with several GPU's用多个 GPU 训练一个模型
【发布时间】：2018-04-02 12:07:03
【问题描述】：

如何对 keras 或 tensorflow 进行编程以在多个 GPU 上进行分区训练，假设您在一个拥有 8 个 GPU 的 amaozn ec2 实例中，并且您希望使用所有这些 GPU 来加快训练速度，但您的代码仅适用于单个CPU 还是 GPU？

【问题讨论】：

【解决方案1】：

是的，可以在多个 GPU 上运行 Keras 模型。这暂时只能在 TensorFlow 后端实现，因为 Theano 功能仍然相当新。我们正在考虑在不久的将来在 Theano 中添加对多 GPU 的支持（这应该相当简单）。

使用 TensorFlow 后端，您可以像在纯 TensorFlow 中一样实现此目的：在定义 Keras 层时使用 with tf.device(d) 范围。

原文来自here

【讨论】：

作为此答案的补充，您可以按照以下链接中的答案进行操作。思路是为每组层设置with tf.device('/gpu:0'):，或者with tf.device('/gpu:1')等。 stackoverflow.com/questions/46366216/…
@DanielMöller：谢谢！