【问题标题】:Cusom Activity in Azure data factoryAzure 数据工厂中的自定义活动
【发布时间】:2021-07-06 06:50:42
【问题描述】:

我正在创建 c# 程序并希望从自定义活动 azure 数据工厂执行它。但是,我没有得到我应该遵循的步骤。 我也关注过微软网站,但步骤不清楚。所以请帮忙。

【问题讨论】:

  • 需要一些分步代码,我可以通过它配置和连接来自 c# 程序的自定义活动
  • 此答案讨论在 ADF 中使用 Azure Batch(自定义活动):stackoverflow.com/questions/59938374/…
  • 在这个问题中提到“我编写了一个 .NET 控制台应用程序并将其部署到 Azure Batch”这是我被卡住的部分。如何将我们的控制台应用程序部署到 azure 批处理中并从 curstom 活动管道运行该应用程序。任何帮助将不胜感激。
  • 我只是想提供帮助,但问题并没有这么说。它说您“正在创建一个 c# 程序并希望从自定义活动中执行它”。它没有说它是一个控制台应用程序,也没有说它已“部署”到 Azure Batch。我在下面添加了一个答案,希望能帮助您入门。

标签: azure-data-factory-2 custom-activity


【解决方案1】:

部署发生在运行时。基本上,数据工厂将可执行文件传递给批处理服务。如果您尚未这样做,请为您的 Batch 帐户创建一个 Azure Batch 链接服务,并在自定义活动的“Azure Batch”选项卡中引用它。

您需要将可执行包加载到 Azure Blob 存储中的文件夹。确保包括 EXE 和任何相关的 DLL。在“设置”选项卡中,执行以下操作:

  1. 引用 Blob 存储链接服务
  2. 引用包含可执行文件的文件夹路径。
  3. 指定要执行的命令(应为 ConsoleAppName.exe)。

这是设置的屏幕截图:

如果您需要将参数从 ADF 传递到 Batch,它们被称为“扩展属性”,并且在控制台应用程序中的处理方式与典型参数不同。更多信息请访问this answer

【讨论】:

  • 我尝试了所有步骤,最后得到了这个错误“遇到意外异常,请重试。如果问题仍然存在,请联系 Azure 支持”。管道运行 ID - c60c9834-d70a-43e7-b7c2-7927beed95bc 集成运行时 - DefaultIntegrationRuntime(美国东部)
  • 批量运行可能难以诊断。此错误可能意味着数据工厂、批处理帐户或代码本身存在问题。在 Batch Account 的 Pool 下,您应该能够找到失败的 Task。任务面板的底部应该是指向 stdout.txt 和 stderr.txt 的链接。他们可能有更多你可以追查的信息。
  • 还有一个桌面应用程序“Azure Batch Explorer”,您可能会发现它很有用:azure.github.io/BatchExplorer
猜你喜欢
  • 2018-08-02
  • 2018-10-02
  • 1970-01-01
  • 2018-05-12
  • 1970-01-01
  • 2020-09-17
  • 2020-06-11
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多