Kubernetes CronJob - 普罗米修斯警报

Question

我正在尝试弄清楚如何使用 kube-state-metrics 为我的 kubernetes cronjob 为以下场景创建 Prometheus 警报。

1. 如果我的 cronjob 失败，发送警报，如果它仍然失败或存在另一个失败的 cronjob，则在一分钟后继续发送警报，每 5 分钟发送一次警报，否则解决。
2. 如果我的 cronjob 运行超过一分钟，请发送警报。

   我试过count_over_time(kube_job_failed[1m]) > 0，它给了我一个失败警报，但从来没有自行解决。

   任何指导将不胜感激。

Answer 1

使用以下查询自行解决警报。

increase(kube_job_status_failed{job=~"mytestjob-.*"}[5m]) > 1

有关更多信息，请参阅以下链接 monitor-kube-cron-jobs-using-prometheus 和 stack link