【问题标题】:How can i skip the nth row in azure data factory copy activity?如何跳过 azure 数据工厂复制活动中的第 n 行?
【发布时间】:2021-09-08 20:12:17
【问题描述】:

这是我要保存在数据库中的表,这是导致问题的行:

当我尝试下沉整个表时,弹出此错误:

但是当我跳过前 4 行时,复制活动会正常调试。错误还提到了列分隔符,但这是我的设置,对我来说似乎没有错。

解决此问题的最佳解决方案是什么?

【问题讨论】:

    标签: azure azure-pipelines azure-data-factory-2 csv copy-activity


    【解决方案1】:

    您最好创建一个不包含要跳过的第 n 行的文件副本。另一种选择,打开文件并显示列分隔符。有可能有一些隐藏的内容破坏了分隔符。

    对于第一个选项,您可以使用 Azure Functions 创建清理后的文件。

    【讨论】:

      【解决方案2】:

      在复制活动设置中,您可以更改容错设置。将 Skip Incompatible row 启用为 true,您可以将日志路径设置为数据湖/存储帐户中的文件。启用此功能后,复制活动不会失败,而是将这些跳过的行记录到指定的文件中。

      https://docs.microsoft.com/en-us/azure/data-factory/copy-activity-fault-tolerance#configuration-1

      您必须手动查看日志文件并决定跳过的行会发生什么。

      【讨论】:

        猜你喜欢
        • 2022-01-04
        • 1970-01-01
        • 2020-09-15
        • 2019-07-29
        • 1970-01-01
        • 2022-06-23
        • 2021-06-10
        • 2022-01-26
        • 2019-03-28
        相关资源
        最近更新 更多