如何从 ADF 复制数据活动中获取给定列的最大值

Question

我有一个本地 SQL Server 作为源和 ADLS Gen2 作为接收器的复制数据活动。有一个控制表来拾取 tableName、watermarkDateColumn 和 watermarkDatetime 从源数据库中提取增量数据。

在接收器中提取/加载数据后，我想获取数据集中 watermarkDateColumn 的最大值。可以从@activity('copyActivity1').output获取吗？

我不允许使用一个额外的查找活动来查询源表以获取管道中的 max(watermarkDateColumn)。

Answer 1

复制活动只能用于数据传输，不能用于任何其他聚合功能。所以 @activity('copyActivity1').output 无济于事。既然你说你不能使用查找活动，恐怕你的要求目前不可用。

如果您不想使用额外的活动，我建议您改用数据流活动，它更灵活。数据流活动中有built-in aggregation功能。