AWS Glue 作业状态仪表板

Question

在我们的项目中，每天运行 10 个 Glue 作业。我想建立一个仪表板来显示最近 7 天的工作状态，这意味着成功或失败。尝试使用指标在 CloudWatch 中实现它，但无法做到。请给出构建此仪表板的想法。

Answer 1

对于最初的提问者来说可能有点晚，但可能对其他人有帮助。

我们的项目中有类似的任务。我们有很多工作，需要监控成功和失败。根据我们的经验，内置指标并不可靠，也不能真正回答工作是否成功的问题。 但是我们找到了一种好方法，即为所有工作以通用方式生成自定义指标。这也适用于之后的现有工作，而无需更改代码。 我写了一篇关于它的文章：https://medium.com/@ettefette/metrics-for-aws-glue-jobs-as-you-know-them-from-lambda-functions-e5e1873c615c

我们已根据这些指标设置 cloudwatch 警报，并使用 grafana 仪表板中的指标来监控粘合作业。