监控 Kubernetes pod 健康事件

Question

目前我已经设置了 kubernetes，包括 kube-state-metrics、prometheus 和 loki。对于大多数事情来说，这确实很好，但我正在努力解决的一件事是找到容器可能重新启动的确切原因。

对于正在运行的 pod，很容易看到，例如，使用 kubectl describe pod，我得到以下事件：

kubectl describe pod pod-name
.....
Events:
  Type     Reason     Age                  From     Message
  ----     ------     ----                 ----     -------
  Warning  Unhealthy  19m (x9 over 3h29m)  kubelet  message-here

这对于准确排除容器重启次数过多的原因非常有用，尤其是在使用探针的情况下。但也有其他有用的事件。

但是，我看不到任何方法可以在 loki 或 prometheus 中保存此类事件。但也许我错过了一些东西。我曾期望kube-state-metrics 包含此类信息，但似乎并非如此，我在 Loki 的任何地方也没有看到它。

关于如何保存此类事件的任何提示？

Answer 1

虽然 Prometheus 和 KSM 更关注指标，例如：“N 次 pod 重启”，但 Loki 可用于捕获事件。

一个很好的概述指南是here，它使用eventrouter 将事件推送到后端（例如 Loki 或 Elasticsearch）