【问题标题】:Azure DataFactory: Start / End time of schedule PipelinesAzure DataFactory:计划管道的开始/结束时间
【发布时间】:2021-03-02 01:19:40
【问题描述】:
我在 Azure DataFactory 中有一个计划每小时运行的管道。
由于每个计划任务都有开始时间和结束时间(例如凌晨 1 点 - 凌晨 2 点)来在此时间间隔内复制文件。我想知道如果旧任务超限(如凌晨 2:15 完成),下一个任务的行为会是什么?
(a) 开始时间和结束时间为 2am-4am 的运行任务
(b) 开始时间和结束时间 3am-4am 的运行任务
我的目标是确保不会丢失复制文件。
【问题讨论】:
标签:
azure
azure-data-factory
azure-data-factory-pipeline
【解决方案1】:
我已经在我的 ADF 中对此进行了测试。
结论:
上一个管道的状态不会影响下一个任务的开始时间。因此,在您的情况下,如果您之前的管道在凌晨 1 点开始并在凌晨 2:15 完成,那么您的下一个任务仍将在凌晨 2 点开始。
我的测试:
我创建了一个每 3 分钟运行一次的 Schedule 触发器。我的管道运行大约 6 分钟。
监控管道运行和触发器运行:
我的第一个任务在 21 年 3 月 4 日下午 3:32:41 结束,下一个任务在 21 年 3 月 4 日下午 3:30:00 开始。所以如果旧任务超时,不会影响下一个任务的开始时间。