【问题标题】:ADF Pipeline Bulk copy activity to Log filesADF 管道将活动批量复制到日志文件
【发布时间】:2019-12-26 10:50:14
【问题描述】:

我有一个大容量复制模板,用于在 ADF 中设置 azure blob 存储数据传输。此活动将动态生成“n”个文件。 管道活动完成后,我需要编写日志文件(txt 格式)。 日志文件应包含管道开始和完成日期时间以及输出的文件数、状态等。

什么是最好的方式或选择活动来做到这一点?

【问题讨论】:

  • 您好,我的回答对您有帮助吗?
  • 谢谢杰。我还没有尝试这个。我正在尝试在 ADF 中设置 .net 代码。完成后会通知您。
  • 当然,乔蒂。任何更新,请在此处发布。

标签: pipeline azure-data-factory bulk azure-data-factory-2


【解决方案1】:

首先,我不得不说 ADF 不会自动生成有关执行信息的日志文件。您可以看到 Visually monitorProgrammatically monitor 了解 ADF 中的活动。

在上面的链接中,您可以获得管道的start timeRun Start。即使它没有任何运行结束,您也可以自己计算:运行结束=运行开始+持续时间。

至于文件数量,请参考这个link

无论如何,我认为所有这些指标都需要以编程方式获得,您可以选择自己擅长的语言。

【讨论】:

  • 我可以将 Activity Runs 信息放入数据库表中,以便我可以创建一个 power bi 报告并使用我自己的图表和 kpi 与监控团队共享
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2021-07-31
  • 2012-12-06
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-02-15
相关资源
最近更新 更多