在 AMLS 中使用 TensorFlow 进行分布式训练答案

【问题标题】：Distributed Training with Tensorflow in AMLS在 AMLS 中使用 TensorFlow 进行分布式训练
【发布时间】：2019-09-12 16:24:21
【问题描述】：

通过以下配置在 Azure ML 服务中使用 TensorFlow 估算器。

from azureml.core.runconfig import TensorflowConfiguration
distributed_training = TensorflowConfiguration()
distributed_training.worker_count = 3
est = TensorFlow(source_directory=script_folder,
             script_params=script_params,
             compute_target=compute_target,
             node_count=4,
             distributed_training=distributed_training,
             use_gpu=True,
             entry_script=train_script)
run = exp.submit(est)

似乎在使用这种配置运行时，个别工作人员提出了他们自己的训练模型实例并尝试多次注册模型。我需要在 Tensorflow 训练脚本中处理分布式训练吗？

【问题讨论】：

标签： distributed-computing tensorflow-estimator azure-machine-learning-service

【解决方案1】：

您需要在训练脚本中处理模型保存：将模型系数收集到单个等级，然后将它们保存到该等级的文件中。

然后您可以在训练脚本之外注册模型，使用 run.register_model 并将保存的模型的文件夹/文件作为参数传递。

【讨论】：