【发布时间】:2020-01-02 11:19:36
【问题描述】:
我正在尝试通过 Azure Log Monitor 仪表板检查我在 Azure Databricks 中运行的作业的状态,但最近的大部分数据不可见,有人可以帮助我对我的作业进行近乎实时的监控
【问题讨论】:
标签: azure azure-databricks azure-log-analytics azure-monitoring
我正在尝试通过 Azure Log Monitor 仪表板检查我在 Azure Databricks 中运行的作业的状态,但最近的大部分数据不可见,有人可以帮助我对我的作业进行近乎实时的监控
【问题讨论】:
标签: azure azure-databricks azure-log-analytics azure-monitoring
Log Analytics has a delay 不仅为 Databricks 发送指标,而且 Azure 中的几乎所有资源都有此延迟。 此时是:
- 资源日志中的数据需要 2-15 分钟,具体取决于 Azure 服务。
- Azure 平台指标需要 3 分钟才能发送到日志 分析摄取点。
- 活动日志数据大约需要 10-15 分钟才能发送到 Log Analytics 引入点。
这是由于后端读取和插入数据的方式。
如果希望提高监控 Databricks 工作的能力,请考虑集成您的 Databricks Notebook with Azure Data Factory to create pipelines
【讨论】: