【问题标题】:Is it possible to Monitor Azure Integration Runtime?是否可以监控 Azure 集成运行时?
【发布时间】:2021-07-06 14:47:43
【问题描述】:

我在 Azure 数据工厂中运行了一些数据管道,并使用 Azure 集成运行时进行计算。 我正在尝试监视 CPU/内存使用管道消耗和利用 Azure IR。 我已经检查了 Azure Monitor,但我认为 CPU / 内存指标适用于自托管集成运行时。 此外,启用诊断设置后,我也尝试验证日志中的详细信息,但这些详细信息不可用。 任何人都可以帮助了解更多选择吗?

【问题讨论】:

    标签: azure azure-data-factory azure-integration-runtime


    【解决方案1】:

    如果您指的是 Azure AutoResolveIntegrationRuntime,那么没有,这就是原因(来自https://www.cathrinewilhelmsen.net/integration-runtimes-azure-data-factory/

    Microsoft 在他们提供 Azure 的各个位置/区域中拥有大量弹性池,并且 ADF 在运行时确定它将用于执行管道活动的池/硬件。所以真的没有办法(也没有必要)监控 Azure Autoresolve IR。但是,如果您对监控自托管 IR 感兴趣,那么有很多方法可以做到这一点。

    一种简单直接的方法是在 Azure Monitor 的指标部分创建 Azure 仪表板。正如您从下面的屏幕截图中看到的那样,它提供了随时间推移的使用/资源的良好可视化表示。 如您所见,我正在可视化集成运行时本身(CPU/内存)以及托管集成运行时的 Azure VM。最重要的是,如果满足某些条件(例如,过去 15 分钟的 AVG CPU % 使用率超过 75%),您可以进入 Metrics 仪表板设置警报。这些警报可以向您发送短信或电子邮件……甚至可以执行复杂的操作,例如触发 LogicApp 或 WebHook 以实现自动扩展/扩展、高级通知等。

    我认为这是最好的监控方式,但另一种选择是调用 Azure 数据工厂 REST API 来获取集成运行时的监控数据

    POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}/monitoringData?api-version=2018-06-01
    

    但这种方法需要您逐步提取数据、存储数据、解析数据,然后将其可视化或在已经为您很好地内置时对其采取行动。不过,有时重新制作轮子很有趣。

    【讨论】:

      【解决方案2】:

      是的,可以监控 Azure 集成运行时。

      监控中的“管道运行”具有检查特定于管道、集成运行时和更具体过滤器的 CPU 利用率的选项。你可以找到here,它是怎么做的。

      【讨论】:

      • 不仅仅是发布链接,请在答案本身中包含所有需要的细节。链接会随着时间的推移而失效,并且不鼓励仅链接的答案。更进一步:这个问题确实不是具体的,更多的是文档请求(题外话);这里没有具体的编程问题需要回答。
      • 我认为集成运行时 CPU 利用率显示的指标适用于 Azure Monitor 中的自托管 IR...根据您共享的链接,我尝试根据 IR 筛选指标...。仅列出自托管 IR...不列出 Azure IR。
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-11-24
      • 2022-01-20
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多