如何使用自定义 StatsD Spark 指标接收器配置执行器答案

【问题标题】：How to configure executors with custom StatsD Spark metrics sink如何使用自定义 StatsD Spark 指标接收器配置执行器
【发布时间】：2017-01-13 17:27:35
【问题描述】：

如何将 Spark Streaming 指标接收到此 StatsD sink 以供执行者使用？

与其他报告的问题（sink class not found、sink class in executor）类似，我可以获得驱动程序指标，但执行程序会在我的设置中抛出 ClassNotFoundException：

StatsD sink 类是使用我的 Spark-Streaming 应用程序编译的 (my.jar)
spark-submit 运行时：
- --files ./my.jar（将包含 sink 的 jar 拉入执行器）
- --conf "spark.executor.extraClassPath=my.jar"

Spark Conf 在驱动程序中配置为：

val conf = new SparkConf()

conf.set("spark.metrics.conf.*.sink.statsd.class",
         "org.apache.spark.metrics.sink.StatsDSink")
    .set("spark.metrics.conf.*.sink.statsd.host", conf.get("host"))
    .set("spark.metrics.conf.*.sink.statsd.port", "8125")

【问题讨论】：

标签： scala apache-spark metrics sink

【解决方案1】：

看起来你遇到了错误https://issues.apache.org/jira/browse/SPARK-18115。我也打了它并用谷歌搜索了你的问题:(

【讨论】：

【解决方案2】：

将您的 jar 文件复制到 $SPARK_HOME/jars 文件夹。

【讨论】：

谢谢。在 YARN spark-submit 工作上取得成功。但是你能解释一下为什么吗？为什么使用参数---files 或extraClassPath 运行不够？