【发布时间】：2020-07-14 11:08:13
【问题描述】：
如何在不同的火车节点中读取部分 Azure 文件数据集（包含 1000 个图像）。
我想要一个覆盖所有图像的样本。
我正在寻找类似 tensorflow.dataset.shard() 的选项。
谢谢。
【问题讨论】：
标签： azure-machine-learning-studio azure-machine-learning-service azureml
【发布时间】：2020-07-14 11:08:13
【问题描述】：
【讨论】：
-
感谢您的回复。我正在尝试通过将 python 脚本传递给所有节点来训练分布在集群上的模型。我希望集群上的每个节点都获取文件数据集的一部分（根据我配置的大小）。我无法将 parallelrunstep 用作 python 训练脚本的一部分，因为它需要自己的计算目标，你的意见是什么？
-
您应该能够将 ParallelRunStep 与 FileDataset 一起用于您的场景。确保将 ParallelRunConfig 指向您选择的计算目标。对于您的场景，您可能希望使用 Azure ML Compute clusters，它是一种无服务器批处理计算...