【问题标题】:ADF run a pipeline taking parameter values from a file for each rowADF 运行管道,从文件中为每一行获取参数值
【发布时间】:2020-04-27 11:41:37
【问题描述】:

我需要为不同实体批量加载少量数据文件。而不是为我想要的每个实体创建单独的管道

  1. 创建一个包含列的控制文件 - EntityName、SourceDirectory、SourceFileStartswith、TargetDirectory

  2. 将调用每一行(每个实体)管道,其中将传递其他三个值 - SourceDirectory、SourceFileStartswith、TargetDirectory

  3. 数据文件将作为提供的 SourceDirectory 和 SourceFileStartswith 选择并加载到 TargetDirectory 路径中

请指导如何在 ADF 中创建它。

【问题讨论】:

    标签: parameters azure-data-factory


    【解决方案1】:

    要达到您的要求,请尝试 ForEach Activity 和 Copy Activity。

    Step1:创建一个数组参数,将EntitiyName, SourceDirectory, SourceFileStartswith, TargetDirectory作为json对象传入数组。

    Step2:参考ForEach Activity中的参数。

    Step3:在ForEach Activity中,请在Copy Activity中使用@item().EntityName,@item().SourceDirectory等来配置source和sink数据集。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2021-09-16
      • 1970-01-01
      • 2022-08-18
      • 1970-01-01
      • 1970-01-01
      • 2022-12-14
      • 1970-01-01
      相关资源
      最近更新 更多