【问题标题】:What happens if an Azure Data Factory is triggered twice at the same time?如果同时触发两次 Azure 数据工厂会发生什么?
【发布时间】:2021-09-06 05:19:38
【问题描述】:
在同一管道上,我有两个触发器:
1- 预定:一天 3 次
2- BlobEvent : 在 Blob Storage 上创建文件时
到目前为止,我没有任何问题,但我想知道如果两者同时触发,会发生什么?一个会被搁置直到第一个结束,或者它们会同时执行(这可能是个问题,如果是这样,你有什么建议来阻止它?)
提前致谢。
【问题讨论】:
标签:
azure
azure-blob-storage
azure-data-factory
azure-data-factory-2
【解决方案1】:
Azure 数据工厂 (ADF) 管道在管道级别有一个并发限制,可以帮助控制这一点。默认为空白(即最多 50 个),因此如果您想控制并发执行,请将其设置为 1。
但是,当前的行为是让后续管道运行排队,而不是完全停止它们,因此您可能需要在管道中构建一些逻辑来确定“我是否已经处理过这个文件?”例如Lookup activity
或者在管道中构建一些东西,例如在文件被成功处理后移动文件 - 这取决于你在做什么。
查看here 的行为并对此反馈项here 投票。