我在哪里可以设置 spark.eventLog.enabled？答案

【问题标题】：Where can I set the spark.eventLog.enabled?我在哪里可以设置 spark.eventLog.enabled？
【发布时间】：2016-12-20 05:49:42
【问题描述】：

我想测试机器学习库 Mllib form spark 并在 eclipse 中建立一个具有依赖关系的 maven 项目。当我尝试编译 this 示例时，出现以下异常：`ERROR SparkContext: Error initializing SparkContext.

    ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A master URL must be set in your configuration
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:371)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2256)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(SparkSession.scala:831)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(SparkSession.scala:823)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:823)
    at testing.JavaLogisticRegressionSummaryExample.main(JavaLogisticRegressionSummaryExample.java:33)

有人建议将spark.eventLog.enabled 设置为太假，但我在哪里设置此值？

【问题讨论】：

尝试JVM参数选项stackoverflow.com/questions/24481399/…
感谢您的回答。添加参数后，我得到一个 Failed to connect to myhost:7077

标签： java eclipse maven apache-spark

【解决方案1】：

如果您在 Eclipse 中作为 java 程序运行，那么您可以设置主 URL，如下所示。当您创建一个具有依赖关系的 jar 并使用 spar-submit 在 spark 中运行时，您可以在命令中传递主 url。请参考 Spark 文档。

SparkSession spark = SparkSession
  .builder()
  .appName("JavaLogisticRegressionSummaryExample")
  .config("spark.sql.warehouse.dir", "/file:C:/temp")//workaround for issue https://issues.apache.org/jira/browse/SPARK-15899
  .master("local[2]")
  .getOrCreate();

【讨论】：