【问题标题】:Run independent `PythonScriptStep` steps in parallel并行运行独立的“PythonScriptStep”步骤
【发布时间】:2021-11-01 06:50:21
【问题描述】:

在我的管道中,多个步骤是独立的,因此我希望它们根据输入依赖项并行运行。

由于我使用的计算有多个节点,我本来希望这是默认的。

例如:

所有 3 个上面的步骤应该并行运行,然后两个 finetune 步骤只要它们的输入得到满足就并行运行,rgb_test 也是如此。

目前一次只运行一个步骤,其他是Queued

【问题讨论】:

  • 这种情况还会发生吗?
  • 是的,但似乎是由于 vCPU 配额。我有增加确认,我会在这里报告。

标签: azure-machine-learning-service


【解决方案1】:

我同意这很奇怪!您确定您的计算目标的 max_nodes 至少为 3?

【讨论】:

    【解决方案2】:

    最终是因为 vCPU 配额。

    增加配额后,并行任务可以按预期同时运行。

    【讨论】:

      猜你喜欢
      • 2017-08-24
      • 2016-08-14
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2013-05-22
      相关资源
      最近更新 更多