【发布时间】：2017-01-21 02:47:09
【问题描述】：
我想知道是否可以使用 theano 在跨 LAN 上多台计算机的多 GPU 架构上训练神经网络。
我已经通过 Theano 的文档知道它可以在单台计算机上支持多个 GPU，但我想知道它如何扩展到 LAN。
提前致谢。
【问题讨论】：
标签： neural-network gpu theano
【发布时间】：2017-01-21 02:47:09
【问题描述】：
您将失去通过 LAN 进行通信的 GPU 处理的大部分优势。编写不佳的代码可能会导致 GPU 传输显着减慢处理速度，即使在单个 GPU 上也是如此。要充分利用集群中的 GPU，您应该研究梯度下降的并行版本，例如 Hogwild！
https://people.eecs.berkeley.edu/~brecht/papers/hogwildTR.pdf
【讨论】：