如果我不提供，这里的主人是什么？答案

【问题标题】：What is the master here if I don't provide one?如果我不提供，这里的主人是什么？
【发布时间】：2016-11-17 23:34:31
【问题描述】：

根据http://spark.apache.org/docs/latest/submitting-applications.html#launching-applications-with-spark-submit 应该提交我的Spark 应用程序JAR

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

即使我以 SparkSession 开头

val spark = SparkSession
      .builder
      .getOrCreate()

（因此没有.master("local") 或类似的行）并且没有--master 选项，我的应用程序运行。 http://spark.apache.org/docs/latest/configuration.html#available-properties 页面说 master 没有默认值。这里发生了什么？

【问题讨论】：

你确定运行了吗，因为它给了我未定义的主错误！您能否分享您在代码中使用的 SparkConf！
@ShivanshSrivastava：据我所知，我没有使用任何 SparkConf。我怎样才能找到它？
你能把你的主类的代码贴上来吗！
@ShivanshSrivastava：没有任何事情发生了。但是 - 不确定之前的星座是什么 - 现在它按预期失败了。我可以在硬编码的源代码中添加 .master("local") 并在 spark-submit-ting 时使用 --master 选项覆盖它吗？

标签： apache-spark

【解决方案1】：

如果在spark-defaults.conf 中设置了spark.master，它就是它的值。
否则local[*]。

【讨论】：

在什么配置中？
spark-defaults.conf
我没有那个文件。
原来是local[*]

【解决方案2】：

你可以使用--master local[n]

./bin/spark-submit \
  --class <main-class> \
  --master local[n] \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

谢谢。

【讨论】：

抱歉，我的问题不是如何使用 --master 选项，而是如果我不使用默认集群是什么。