【问题标题】:Distributed Tensorflow: ps/workers hosts on aws ?分布式 Tensorflow:AWS 上的 ps/workers 主机?
【发布时间】:2017-12-14 01:56:21
【问题描述】:

我正在使用 gpus 在 aws 上使用分布式 Tensorflow。当我在本地机器上训练模型时,我将 ps_host/workers_host 指示为“localhost:2225”之类的东西。如果是 aws,我需要使用什么 ps/workers 主机?

【问题讨论】:

    标签: python tensorflow tensorflow-gpu


    【解决方案1】:

    这里有一个很好的 github 项目,展示了如何在 AWS 上使用分布式 TensorFlow 与 Kubernetes 或新的 AWS SageMaker:https://github.com/pipelineai/pipeline

    至少,您应该使用 TensorFlow Estimator API。分布式 TensorFlow 有很多隐藏的、文档不太完整的技巧。

    这里有一些更好的例子:https://github.com/GoogleCloudPlatform/cloudml-samples/tree/master/census

    【讨论】:

      【解决方案2】:

      在集群上运行分布式TF代码时,可以通过“private ip: port number”访问其他节点。

      但是AWS的问题是其他节点不能轻松启动,需要额外配置。

      【讨论】:

        猜你喜欢
        • 2010-09-30
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多