【问题标题】:Azure Cluster Startup time in Pipeline管道中的 Azure 群集启动时间
【发布时间】:2020-08-07 02:00:17
【问题描述】:

我有一个包含 10 个数据流活动的管道,每个活动都使用 AutoResolveIntegrationRuntime 默认集成集群。

当我触发管道时,每个 Dataflow 的集群启动大约需要 4 分钟,总共需要 40 分钟才能完成管道执行。我可以避免这种情况吗?如果有,怎么做?

谢谢, 卡提克

【问题讨论】:

    标签: azure azure-pipelines azure-data-factory azure-data-flow azure-integration-runtime


    【解决方案1】:

    您将希望将这些数据流放在您的管道画布上而不使用依赖行,以便它们全部并行运行,或者在您的 Azure IR 中设置一个 TTL 并为每个活动使用相同的 Azure IR。这样,每个后续活动都可以使用暖池并在 1-2 分钟内启动,而不是 4 分钟。

    Here is an explanation of these different methods.

    And here is how to configure TTL to set a warm pool for your factory.

    【讨论】:

    • 所以我没有办法让其余数据流的集群启动时间为 0? Microsoft 是否按集群启动时间计费?
    • 0 启动时间?但是必须启动一个集群来完成它的工作。在调试模式下,您启动/停止一个集群,以便在您预览数据时它已经很热。运行作业时,Databricks 使用每个集群模型的作业。
    • 好的,知道了。谢谢马克。最后一个问题。 Microsoft 是否按集群启动时间计费?
    • 您需要为 E2E 按比例分配到最小值的完整管道时间付费。因此,如果您的管道需要 10 分钟来执行,那么您只需为 10 分钟而不是整个小时计费。对于数据流,该时间包括“获取集群”资源时间。
    • @MarkKromerMSFT 当您启动第二个、第三个等数据流时,预热的集群在 1-2 分钟内在做什么
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-11-17
    • 1970-01-01
    • 1970-01-01
    • 2019-10-23
    • 2019-06-16
    相关资源
    最近更新 更多