从 grafana 监控中排除 k8s 节点

Question

我们有一个由 5 个节点组成的 Kubernetes 集群。其中 2 个节点仅用于 KIAM，另外 3 个用于容器部署。

我已经部署和配置了 prometheus 和 grafana，我需要配置监控 CPU、内存和 pod 使用情况。但是，我想从任何统计信息或警报阈值中完全排除托管 KIAM 的节点。

prometheus 返回的唯一可以识别我需要的节点的是 kube_node_labels 指标中的 label_workload="gp" 。我不知道该怎么做是让 grafana 仅在其计算中使用这些节点。

也许可以进行某种查询连接或子选择来识别要包含的节点名称？？

如果有任何帮助，我将不胜感激！！！

Answer 1

我相信node_uname_info 指标是获取所有节点信息的更好指标。因此，我将使用该指标进行解释。

你有两个选择：

选项 1：将节点名硬编码到 Grafana 仪表板中。你的查询应该看起来像这样node_uname_info{nodename=~"node1|node2|node3"}。 node1-3 是您想要为其获取指标的节点。

选项 2：您创建一个变量并允许用户选择节点。假设变量名是$nodes，查询应该是label_values(node_uname_info, nodename)。应该允许选择多个值。接下来在您的查询中，您可以执行 node_uname_info{nodename=~"$nodes"} 以仅显示选定节点的指标。