【问题标题】:Azure Data Factory uploads data to database when pipeline run fails管道运行失败时,Azure 数据工厂将数据上传到数据库
【发布时间】:2023-01-25 18:24:00
【问题描述】:

我在我的 ADF 中运行了一个管道,我从一个 json 文件中获取字段并将它们保存到我的数据库中的多个表中。当文件上传到我的存储帐户中的容器时,管道开始运行,运行后文件将被删除。 手头的问题是,当管道由于某种原因失败时,文件不会被删除(因为它没有到达运行结束),并且由于某种原因,SQL 记录仍保存到某些表中这意味着我的表被数据塞满了。如果管道成功,有什么方法可以只上传数据?

我没有看到任何允许我这样做的选项,并且在问题发生时必须手动解决问题

【问题讨论】:

    标签: azure azure-devops azure-data-factory


    【解决方案1】:

    通常当我们从另一个活动触发一个活动时,我们使用成功路线。您还可以在活动失败时使用 catch 块来执行其他活动。参考这个documentation

    因此,万一某个活动发生故障,请使用此方法执行另一个活动,该活动将清除您的 SQL 记录。

    【讨论】:

      猜你喜欢
      • 2019-10-24
      • 2019-02-12
      • 2021-12-04
      • 2015-12-18
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-01-17
      相关资源
      最近更新 更多