【发布时间】:2017-12-14 01:56:21
【问题描述】:
我正在使用 gpus 在 aws 上使用分布式 Tensorflow。当我在本地机器上训练模型时,我将 ps_host/workers_host 指示为“localhost:2225”之类的东西。如果是 aws,我需要使用什么 ps/workers 主机?
【问题讨论】:
标签: python tensorflow tensorflow-gpu
我正在使用 gpus 在 aws 上使用分布式 Tensorflow。当我在本地机器上训练模型时,我将 ps_host/workers_host 指示为“localhost:2225”之类的东西。如果是 aws,我需要使用什么 ps/workers 主机?
【问题讨论】:
标签: python tensorflow tensorflow-gpu
这里有一个很好的 github 项目,展示了如何在 AWS 上使用分布式 TensorFlow 与 Kubernetes 或新的 AWS SageMaker:https://github.com/pipelineai/pipeline
至少,您应该使用 TensorFlow Estimator API。分布式 TensorFlow 有很多隐藏的、文档不太完整的技巧。
这里有一些更好的例子:https://github.com/GoogleCloudPlatform/cloudml-samples/tree/master/census
【讨论】:
在集群上运行分布式TF代码时,可以通过“private ip: port number”访问其他节点。
但是AWS的问题是其他节点不能轻松启动,需要额外配置。
【讨论】: