了解 Spark 的度量方法

Question

我正在浏览 metric/monitoring 页面以获取 spark。

我的理解
Spark 按照spark.eventLog.enabled true 和spark.eventLog.dir hdfs://path 中的配置将事件写入事件日志。 这些可以通过 3 种方式访问​​

1. Spark 历史服务器
2. REST API
3. SparkListener

我不明白的地方

1. 您能否在 SparkListener 中获取 spark.eventLog.dir 中写入的所有事件日志？
2. SparkMetrics 是否仅根据生成的 eventLogs 计算指标，还是这些指标集在 spark 事件日志中不可见？

Answer 1

基础和派生指标存在 1) 在 Job 期间和 2) 可以持久化到 HDFS 以供后续使用，例如由历史服务器。

• Spark 监听器 在 Spark 应用程序的生命周期内运行。它是一个侦听来自 Spark 的 DAGScheduler 的执行事件的类 - Spark 中执行引擎的主要部分。它不会从 spark.eventLog.dir 消耗；这可能甚至没有被spark-submit 等设置。
• 第二个问题很难理解。在任何系统中总是有基本指标和派生的。如前所述，它们可能不是来自事件日志。鉴于指标可以显示为中值，那么它们也是派生出来的，也就是我怀疑的不同。