NoClassDefFoundError：无法初始化类 org.apache.spark.package

Question

我正在尝试对 apache spark 的 MLLib 进行一些更改。我从Github 克隆了最新的spark repo，在IntelliJ 中使用JDK 1.8.0 和scala-sdk-2.12.6 将MLLib 作为一个项目打开，并创建了一个临时文件以确保我可以运行这些东西。

这是目前正在测试的所有代码：

import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder.master("local").appName("IncrementalCB").getOrCreate()

返回错误：

java.lang.NoClassDefFoundError: Could not initialize class org.apache.spark.package$
    at org.apache.spark.SparkContext.$anonfun$new$1(scratch_1.scala:179)
    at org.apache.spark.internal.Logging.logInfo(scratch_1.scala:53)
    at org.apache.spark.internal.Logging.logInfo$(scratch_1.scala:52)
    at org.apache.spark.SparkContext.logInfo(scratch_1.scala:73)
    at org.apache.spark.SparkContext.<init>(scratch_1.scala:179)
    at org.apache.spark.SparkContext$.getOrCreate(scratch_1.scala:2508)
    at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$5(scratch_1.scala:942)
    at scala.Option.getOrElse(scratch_1.scala:134)
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(scratch_1.scala:933)
    at #worksheet#.spark$lzycompute(scratch_1.scala:2)
    at #worksheet#.spark(scratch_1.scala:2)
    at #worksheet#.get$$instance$$spark(scratch_1.scala:2)
    at #worksheet#.#worksheet#(scratch_1.scala:10)

虽然我不太确定情况如何，但我怀疑它可能与 JAR 或版本相关。有谁愿意填空吗？谢谢！

Answer 1

首先：您无需从 GitHub 克隆 Spark 存储库即可使用 spark。

第二：与其使用临时文件，不如使用maven 或sbt 设置项目。

他们将节省您购买所有依赖项的时间。