主类中的Spark-submit master url和SparkSession master url，有什么区别？

Question

使用 spark-submit 提交作业时，我设置了主 URL 并给他一个主类，例如：

spark-submit --class WordCount --master spark://spark:7077 my.jar

但是在这个主类中，我的 spark 上下文定义了另一个主 url：

SparkSession.builder().appName("Word2vec").master("local").

这让我感到困惑，如果我将带有 spark-submit 的作业发送给独立集群 (spark://spark:7077) 的主节点，该集群以 local 主节点启动 SparkSession，会发生什么情况？

在集群上执行时，SparkSession 主 url 是否应该始终与spark-submit url 相同？

Answer 1

这些属性之间没有区别。如果两者都设置，则直接在应用程序中设置的属性优先。引用documentation:

任何指定为标志或属性文件中的值都将传递给应用程序并与通过 SparkConf 指定的值合并。直接在 SparkConf 上设置的属性具有最高优先级，然后是传递给 spark-submit 或 spark-shell 的标志，然后是 spark-defaults.conf 文件中的选项。自早期版本的 Spark 以来，一些配置键已被重命名；在这种情况下，旧的键名仍然被接受，但优先级低于新键的任何实例。