【问题标题】:ADF run a pipeline taking parameter values from a file for each rowADF 运行管道,从文件中为每一行获取参数值
【发布时间】:2020-04-27 11:41:37
【问题描述】:
我需要为不同实体批量加载少量数据文件。而不是为我想要的每个实体创建单独的管道
创建一个包含列的控制文件 - EntityName、SourceDirectory、SourceFileStartswith、TargetDirectory
将调用每一行(每个实体)管道,其中将传递其他三个值 - SourceDirectory、SourceFileStartswith、TargetDirectory
数据文件将作为提供的 SourceDirectory 和 SourceFileStartswith 选择并加载到 TargetDirectory 路径中
请指导如何在 ADF 中创建它。
【问题讨论】:
标签:
parameters
azure-data-factory
【解决方案1】:
要达到您的要求,请尝试 ForEach Activity 和 Copy Activity。
Step1:创建一个数组参数,将EntitiyName, SourceDirectory, SourceFileStartswith, TargetDirectory作为json对象传入数组。
Step2:参考ForEach Activity中的参数。
Step3:在ForEach Activity中,请在Copy Activity中使用@item().EntityName,@item().SourceDirectory等来配置source和sink数据集。