【问题标题】:Azure DataFactory: Start / End time of schedule PipelinesAzure DataFactory:计划管道的开始/结束时间
【发布时间】:2021-03-02 01:19:40
【问题描述】:

我在 Azure DataFactory 中有一个计划每小时运行的管道。 由于每个计划任务都有开始时间和结束时间(例如凌晨 1 点 - 凌晨 2 点)来在此时间间隔内复制文件。我想知道如果旧任务超限(如凌晨 2:15 完成),下一个任务的行为会是什么? (a) 开始时间和结束时间为 2am-4am 的运行任务 (b) 开始时间和结束时间 3am-4am 的运行任务

我的目标是确保不会丢失复制文件。

【问题讨论】:

    标签: azure azure-data-factory azure-data-factory-pipeline


    【解决方案1】:

    我已经在我的 ADF 中对此进行了测试。

    结论: 上一个管道的状态不会影响下一个任务的开始时间。因此,在您的情况下,如果您之前的管道在凌晨 1 点开始并在凌晨 2:15 完成,那么您的下一个任务仍将在凌晨 2 点开始。

    我的测试: 我创建了一个每 3 分钟运行一次的 Schedule 触发器。我的管道运行大约 6 分钟。

    监控管道运行和触发器运行:

    我的第一个任务在 21 年 3 月 4 日下午 3:32:41 结束,下一个任务在 21 年 3 月 4 日下午 3:30:00 开始。所以如果旧任务超时,不会影响下一个任务的开始时间。

    【讨论】: