AWS Sagemaker |为什么多实例训练所花费的时间乘以实例数

Question

我正在使用 AWS Sagemaker 进行模型训练和部署，这是模型训练的示例

from sagemaker.estimator import Estimator
hyperparameters = {'train-steps': 10}
instance_type = 'ml.m4.xlarge'

estimator = Estimator(role=role,
                      train_instance_count=1,
                      train_instance_type=instance_type,
                      image_name=ecr_image,
                      hyperparameters=hyperparameters)

estimator.fit(data_location)

这里提到的docker镜像是一个tensorflow系统。

假设训练模型需要 1000 秒，现在我将实例数增加到 5，那么训练时间将增加 5 倍，即 5000 秒。据我了解，培训工作将分配给 5 台机器，因此理想情况下每台机器需要 200 秒，但似乎它在每台机器上进行单独的训练。有人可以让我知道它在一般分布式系统或 Tensorflow 上的工作。

我试图在这个文档https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-dg.pdf 上找到答案，但似乎这里没有提到在分布式机器上工作的方式。

Answer 1

您是否在脚本中使用TensorFlow estimator APIs？如果是，我认为您应该按照in the documentation here 的描述将脚本包装在sagemaker.tensorflow.TensorFlow 类中来运行脚本。如果您以这种方式运行训练，实例之间的并行化和通信应该是开箱即用的。

但请注意，当您增加实例数量时，缩放将不是线性的。在实例之间进行通信需要时间，并且脚本中可能存在不可并行的瓶颈，例如将数据加载到内存中。