【问题标题】:Azure ADF Pipeline Copy-Data Log Files not firing 2nd Pipeline's "Blob Created" TriggerAzure ADF 管道复制数据日志文件未触发第二个管道的“已创建 Blob”触发器
【发布时间】:2021-07-31 17:16:09
【问题描述】:

使用 Azure 数据工厂 V2 我有 2 条管道。一种读取上传到 blob 存储容器并处理数据的 CSV 数据文件。该管道由“Blob Created”触发。 我已经为管道 1 设置了“警告”级别日志记录,以捕获数据错误、缺少列标题、额外(未映射)列,并且我创建了目标文件夹来存储那些称为“文件数据错误”的日志文件。 这一切都有效。 'file-data-errors' 容器正在按预期填充 *.txt 文件。

我想用 CSV 文件的内容填充 Azure SQL 表。 为此,我设置了另一个管道,该管道在将文件添加到“file-data-errors”容器时触发“Blob Created”。

为了测试第二个管道,我将一个文件(之前由管道 1 创建的一个)上传到“file-data-errors”容器,该过程成功。

但是当我将文件上传到第一个管道的 blob 存储时,第二个管道没有按预期触发。也就是说,正常情况下会将文件添加到“文件数据错误”容器中,但不会触发“Blob Created”触发器。

我在 stackoverflow 上发现了一个非常相似的问题, Azure Storage V2 blob event - Not triggering ADF 但建议的解决方案对我不起作用

我错过了什么?

【问题讨论】:

  • 第二个触发器发布了吗?
  • 是的,两个触发器都已发布。通过将第二个触发器更改为计划而不是 blob 创建的事件,我让它工作了。无论如何,第二条管道只需要每天运行,所以现在可以正常工作了
  • 很高兴听到它有效。您可以发布一个答案来结束这个问题。这将对社区有益。

标签: logging triggers azure-blob-storage azure-data-factory-2


【解决方案1】:

只需发布一个答案即可结束此问题。

解决方案:

通过将第二个触发器更改为计划而不是创建的 blob 事件,我得到了它的工作。第二条流水线只需要每天运行 无论如何,所以现在可以正常工作了

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-11-08
    • 2022-08-17
    • 2020-04-13
    • 1970-01-01
    • 2020-04-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多