使用 ADF 管道获取上次管道运行后更新的 Salesforce 数据

Answer 1

Azure 数据工厂支持基于上次修改增量加载数据库。为了实现我们的目标，在您的数据库中创建表来存储每个管道的结束时间以供将来使用。增量复制可以通过以下几个步骤完成：

1. 从我们之前存储的管道的最后一次运行中获取时间戳 在源数据集中通过最后一次更新。
2. 通过查找从当前运行的管道中获取时间戳 来自utcnow() 的活动作为新更新。
3. 使用具有以下功能的查询将数据更改从源复制到目标 从上次更新时间戳到当前时间戳的条件 我们从前面的步骤中得到。
4. 更新存储表中的当前时间戳值 管道的时间戳作为未来的最后更新时间戳运行 利用。

   然后根据您的要求触发管道以复制在上次管道运行后更新的数据。

   参考：Incrementally copy data