数据工厂 - 从故障点运行数据加载答案

【问题标题】：Data Factory - Run data Load from Point of Failure数据工厂 - 从故障点运行数据加载
【发布时间】：2023-02-08 04:47:22
【问题描述】：

我正在使用 Azure 数据工厂复制活动将数据从 SQL Server On Premise 迁移到 Salesforce。

我们在源端（SQL Server）有几张包含数十亿条记录的表。我需要在加载数据时从最后一个失败阶段运行管道。

示例：如果复制活动在复制 12000 条记录后失败，是否可以重新运行/重新启动管道，以便复制活动避免复制已复制的记录（在早期运行中复制的 1200 条记录）并从剩余记录恢复复制操作.

【问题讨论】：

如果你有一个 sql sink 而不是 salesforce，你可以使用 Pre-copy script proprty 来提及一个自定义脚本来识别已经存在的列并只复制其余的列。但是您的场景将 Salesforce 作为接收器
我更新的答案有帮助吗？
如果答案有帮助，您可以Accept it as an Answer，（单击答案旁边的复选标记将其从灰色切换为填充。）以便遇到相同问题的其他人可以找到此解决方案并解决他们的问题

【解决方案1】：

- 更新

您可以利用 Azure CLI 或 PowerShell 从失败的活动点手动调用和重新运行管道。

请参考我使用 PowerShell 的回答here。

此外，检查标记 --is-recovery 和 --start-from-failure 的用法

Powershell：Invoke-AzDataFactoryV2Pipeline (Az.DataFactory) | Microsoft Docs) 和
AzureCLI：az datafactory pipeline create-run

您可以使用 ADF 管道模板之一，View documentation

使用此模板仅使用存储在外部控制表中的高水位线从数据库复制新的或更新的行。

【讨论】：

【解决方案2】：

我正在寻找您遇到的相同问题的解决方案，如果您有解决方案，能否分享一下？

谢谢

【讨论】：