【问题标题】:Using dynamic data source name in Lookup Transformation inside Azure Data Flows在 Azure 数据流内的查找转换中使用动态数据源名称
【发布时间】:2020-03-19 14:19:21
【问题描述】:

在我的数据管道中,我试图合并两个数据集,一个来自 SQL 表的数据和一个 Azure Blob 存储中的相应 json 文件。 SQL数据中的每一行都包含一个blob文件的名称,我想要实现的是,对于每一行获取列中提到的文件,将该json blob数据与行连接并写入另一个blob。

首先我尝试在Data Pipelines 中使用LookupForEach 活动,参数化的blob 数据集根据列中的值读取名称,但后来我没有找到任何方法将每个数据与blob 数据一起写入,但它确实复制了 blob 文件。

然后我尝试在Data Flows 中使用Lookup Transformation,但我未能使用列值作为第二个来源的名称来合并数据。

在数据管道或数据流内部是否有合并两个数据集,其中一个数据集的名称是动态的?

【问题讨论】:

    标签: azure azure-data-factory azure-data-flow


    【解决方案1】:

    是的,您可以在数据流中执行此操作。数据集、文件名、表和列都可以参数化。

    【讨论】:

    • 您有任何资源的链接吗?我试图找到一些没有任何成功。我知道如何使用参数,我面临的问题是,针对每一行从存储中加载文件并与该行合并。
    • 您是否查看了源转换上的“存储文件名的列”属性? docs.microsoft.com/en-us/azure/data-factory/…
    猜你喜欢
    • 1970-01-01
    • 2012-12-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-11-17
    • 1970-01-01
    • 1970-01-01
    • 2016-03-22
    相关资源
    最近更新 更多