为 Hadoop2 配置 Prometheus JMX 导出器答案

【问题标题】：Configuring Prometheus JMX exporter for Hadoop2为 Hadoop2 配置 Prometheus JMX 导出器
【发布时间】：2018-04-17 16:54:08
【问题描述】：

我正在尝试使用 Prometheus JMX 导出器从运行在 ec2 实例上的以下 Hadoop2 守护程序中抓取指标：

hadoop 名称节点
hadoop 数据节点
纱线资源管理器
纱线节点管理器

我正在尝试将 JMX 导出器作为具有所有四个守护程序的 java 代理运行。为此，我在 hadoop-env.sh 和 yarn-env.sh 中添加了 EXTRA_JAVA_OPTS ：

export HADOOP_NAMENODE_OPTS="$HADOOP_NAMENODE_OPTS -javaagent:/home/ec2-user/jmx_exporter/jmx_prometheus_javaagent-0.10.jar=9102:/home/ec2-user/jmx_exporter/prometheus_config.yml"
export HADOOP_DATANODE_OPTS="$HADOOP_DATANODE_OPTS -javaagent:/home/ec2-user/jmx_exporter/jmx_prometheus_javaagent-0.10.jar=9102:/home/ec2-user/jmx_exporter/prometheus_config.yml"
export YARN_RESOURCEMANAGER_OPTS="$YARN_RESOURCEMANAGER_OPTS -javaagent:/home/ec2-user/jmx_exporter/jmx_prometheus_javaagent-0.10.jar=9102:/home/ec2-user/jmx_exporter/prometheus_config.yml"
export YARN_NODEMANAGER_OPTS="$YARN_NODEMANAGER_OPTS -javaagent:/home/ec2-user/jmx_exporter/jmx_prometheus_javaagent-0.10.jar=9102:/home/ec2-user/jmx_exporter/prometheus_config.yml"

resourcemanager metric NumAllSources 的示例 prometheus_config.yml 如下：

rules:
 - pattern: Hadoop<service=ResourceManager, name=MetricsSystem, sub=Stats><>NumAllSources
   name: sources
   labels:
    app_id: "hadoop_rm"

当我使用新配置和 java_opts 重新启动资源管理器或其他守护程序时，出现以下异常：

Exception in thread "main" java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at sun.instrument.InstrumentationImpl.loadClassAndStartAgent(InstrumentationImpl.java:382)
at sun.instrument.InstrumentationImpl.loadClassAndCallPremain(InstrumentationImpl.java:397)
Caused by: java.lang.IllegalArgumentException: Collector already registered that provides name: jmx_scrape_duration_seconds
at io.prometheus.jmx.shaded.io.prometheus.client.CollectorRegistry.register(CollectorRegistry.java:54)
at io.prometheus.jmx.shaded.io.prometheus.client.Collector.register(Collector.java:128)

有什么建议可以解决这个问题吗？

【问题讨论】：

标签： hadoop prometheus jmx

【解决方案1】：

虽然@chanhou 的解决方案可行，但我想将我的编辑保留在hadoop-env.sh，所以我选择了

if ! grep -q <<<"$HADOOP_NAMENODE_OPTS" jmx_prometheus_javaagent; then
        HADOOP_NAMENODE_OPTS="$HADOOP_NAMENODE_OPTS -javaagent:/home/caesarli/platform/jmx_prometheus_javaagent-0.12.0.jar=11099:/home/caesarli/platform/hadoop-2.8.4/etc/hadoop/jmx-name.yaml"
fi

HADOOP_DATANODE_OPTS 类似。

【讨论】：

【解决方案2】：

那是因为-javaagent opts 在你调用/usr/local/hadoop/sbin/hadoop-daemon.sh start datanode 时在$HADOOP_OPTS 中声明了多次，而hadoop-daemon.sh 最终会调用/usr/local/hadoop/bin/hdfs 来启动相关服务。

在此过程中，它将多次获取hadoop-config.sh，如果您在shell脚本/usr/local/hadoop/bin/hdfs中echo $HADOOP_OPTS，那么您将在那里找到多个-javaagent。

一种解决方法是在/usr/local/hadoop/bin/hdfs 中声明HADOOP_OPTS=$HADOOP_OPTS -javaagent:...，以确保HADOOP_OPTS 中只出现一个-javaagent

【讨论】：

【解决方案3】：

我认为这是因为您对所有注册都使用相同的端口 (9102)，更改端口会有所帮助。

【讨论】：