如何获取火花驱动指标 json？

Question

我遵循了监控指南： http://spark.apache.org/docs/latest/monitoring.html 配置metricsservlet，但似乎这个文档没有说任何有用的东西......

metrics.properties 中的共同点说：

"5. MetricsServlet默认添加为master、worker和client中的sink 驱动，你可以发送http请求“/metrics/json”来获取所有的快照 以 json 格式注册的指标。对于 master，请求 "/metrics/master/json" 和 可以单独发送“/metrics/applications/json”以获取指标快照 实例主机和应用程序。 MetricsServlet 可能无法自行配置。 "

但是http请求url的前缀是什么？我应该在哪里提交http请求？

http://driver-node:4040/metrics/json 不使用 json 响应，只是重定向到 Web UI...

谢谢。

Answer 1

如果您使用的是 Spark 1.2.0，则已知度量 servlet 会由于 SparkContext 中的初始化排序错误（SPARK-4549；这是少数已知的 1.1.1 -> 1.2.0 回归之一并记录在发行说明中）。有一个补丁可以解决这个问题 (https://github.com/apache/spark/pull/3444)，它将包含在 Spark 1.2.1 中。我们预计将在下周左右开始对 1.2.1 候选版本进行投票，因此您可以期待很快包含此修复的维护版本。同时，您可以从 master 或 branch-1.2 分支自行构建 Spark，或使用没有此问题的 Spark 早期版本（例如 Spark 1.1.1）。