【发布时间】:2020-03-19 14:19:21
【问题描述】:
在我的数据管道中,我试图合并两个数据集,一个来自 SQL 表的数据和一个 Azure Blob 存储中的相应 json 文件。 SQL数据中的每一行都包含一个blob文件的名称,我想要实现的是,对于每一行获取列中提到的文件,将该json blob数据与行连接并写入另一个blob。
首先我尝试在Data Pipelines 中使用Lookup 和ForEach 活动,参数化的blob 数据集根据列中的值读取名称,但后来我没有找到任何方法将每个数据与blob 数据一起写入,但它确实复制了 blob 文件。
然后我尝试在Data Flows 中使用Lookup Transformation,但我未能使用列值作为第二个来源的名称来合并数据。
在数据管道或数据流内部是否有合并两个数据集,其中一个数据集的名称是动态的?
【问题讨论】:
标签: azure azure-data-factory azure-data-flow