【发布时间】：2018-08-30 13:14:53
【问题描述】：
我有：
val sparkBuilder: SparkSession.Builder = SparkSession
.builder
.appName("CreateModelDataPreparation")
.config("spark.master", "local")
implicit val spark: SparkSession = sparkBuilder.getOrCreate()
但是，当我运行我的程序时，我仍然得到：
org.apache.spark.SparkException: A master URL must be set in your configuration
at org.apache.spark.SparkContext.<init>(SparkContext.scala:379)
at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2313)
at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:868)
at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:860)
at scala.Option.getOrElse(Option.scala:121)
at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:860)
SparkSession 在 Main 方法中设置，如其他 posts 中所建议的那样。这些似乎没有解决问题。
这与建议的副本不同，因为我都尝试过：
def main(argv: Array[String]): Unit = {
import DeweyConfigs.implicits.da3wConfig
val commandlineArgs: DeweyReaderArgs = processCommandLineArgs(argv)
val sparkBuilder: SparkSession.Builder = SparkSession
.builder
.appName("CreateModelDataPreparation")
.master("local")
implicit val spark: SparkSession = sparkBuilder.config("spark.master", "local").getOrCreate()
import spark.implicits._
...
和
def main(argv: Array[String]): Unit = {
import DeweyConfigs.implicits.da3wConfig
val commandlineArgs: DeweyReaderArgs = processCommandLineArgs(argv)
val sparkBuilder: SparkSession.Builder = SparkSession
.builder
.appName("CreateModelDataPreparation")
.config("master", "local")
implicit val spark: SparkSession = sparkBuilder.config("spark.master", "local").getOrCreate()
import spark.implicits._
...
【问题讨论】：
-
这个已经回答的帖子可能会帮助你A master URL must be set in your configuration
-
你是对的，将其标记为重复。
-
@JohnHumphreys-w00te 该帖子中的建议无效。有没有办法重新打开该帖子或将我的 cmets 添加到它以引起社区的关注？
-
当然，既然你已经澄清了这一切，我会投票重新打开它。其他一些人将不得不同意。它类似于关闭过程。
-
如果这不是骗子，您能提供一个 MVCE 吗？根据当前共享的信息，它很可能无法挽救。如果不是骗子，我很乐意重新打开它。
标签： scala apache-spark