【问题标题】:Is there a way to monitor Hadoop metrics using Prometheus?有没有办法使用 Prometheus 监控 Hadoop 指标?
【发布时间】:2020-05-25 21:30:42
【问题描述】:

所以我目前正在运行双集群进行数据处理,一个是 Kubernetes 集群,另一个是 Hadoop 集群。

K8s 集群在监控方面得到了照顾,因为它很容易在其上部署 Prometheus 和 Grafana。

但是,对于 Hadoop 集群,我仍在寻找一种好方法。

目标是有一个统一的监控解决方案,所以我认为使用 Prometheus 是一个好主意,因为我已经熟悉它,但看起来并不简单。

Hadoop 默认通过 HTTP API 公开一些指标,但这些指标不是“Prometheus-friendly”。

如果您能解释我如何实现这一点,我们将不胜感激。

【问题讨论】:

标签: hadoop prometheus jmx


【解决方案1】:

我建议你看看这个,
https://github.com/marcelmay/hadoop-hdfs-fsimage-exporter

在大多数情况下,当应用程序不公开 prometheus 指标时,您可以使用导出器,其中有很多。

他们收集指标并以 Prometheus 友好的方式公开它们。

【讨论】:

  • 这仅适用于 FSImage,不适用于 JMX
最近更新 更多