使用 prometheus jmxexporter 获取 spark2 集群指标

Question

我们正在尝试使用 prometheus 获取 spark 指标。我们正在使用 jmx 导出器 jmx_prometheus_javaagent-0.12.0.jar。

我们能够获得部署模式客户端的指标，但对于集群我们无法获得它。

对于使用的独立命令是

./spark-submit --conf "spark.driver.extraJavaOptions=-javaagent:../jars/jmx_prometheus_javaagent-0.12.0.jar=8071:../conf/spark.yml" --class somecustomeclass - -deploy-mode 客户端 --executor-memory 3g --driver-memory 3G ../jars/somejar.jar

对于我们尝试过的集群

./spark-submit --supervise --deploy-mode cluster --conf 'spark.driver.extraJavaOptions=-javaagent:jars/jmx_prometheus_javaagent-0.12.0.jar=8060:/conf/spark.yml spark. executor.extraJavaOptions=-javaagent:/jars/jmx_prometheus_javaagent-0.12.0.jar=8061:/conf/spark.yml spark.jars=/jars/jmx_prometheus_javaagent-0.12.0.jar ' --files /jars/jmx_prometheus_javaagent-0.12 .0.jar --class org.apache.spark.examples.SparkTC --master spark://host1:7077,host2:7077 --executor-memory 1G --total-executor-cores 1 /spark/spark-2.4 .0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.0.jar 1

我们是否在设置或命令中遗漏了什么？

Answer 1

需要打开安装程序中缺少的 jmx 端口..

关注https://argus-sec.com/monitoring-spark-prometheus/ 并可以获得指标。