【问题标题】:What is the average latency in transferring Azure Databricks Logs to azure log monitor?将 Azure Databricks 日志传输到 azure 日志监视器的平均延迟是多少?
【发布时间】:2020-01-02 11:19:36
【问题描述】:

我正在尝试通过 Azure Log Monitor 仪表板检查我在 Azure Databricks 中运行的作业的状态,但最近的大部分数据不可见,有人可以帮助我对我的作业进行近乎实时的监控

【问题讨论】:

    标签: azure azure-databricks azure-log-analytics azure-monitoring


    【解决方案1】:

    Log Analytics has a delay 不仅为 Databricks 发送指标,而且 Azure 中的几乎所有资源都有此延迟。 此时是:

    • 资源日志中的数据需要 2-15 分钟,具体取决于 Azure 服务。
    • Azure 平台指标需要 3 分钟才能发送到日志 分析摄取点。
    • 活动日志数据大约需要 10-15 分钟才能发送到 Log Analytics 引入点。

    这是由于后端读取和插入数据的方式。
    如果希望提高监控 Databricks 工作的能力,请考虑集成您的 Databricks Notebook with Azure Data Factory to create pipelines

    【讨论】:

      猜你喜欢
      • 2022-01-01
      • 2019-04-22
      • 1970-01-01
      • 1970-01-01
      • 2013-06-02
      • 1970-01-01
      • 2023-02-16
      • 2021-08-08
      • 1970-01-01
      相关资源
      最近更新 更多