Intellij 的错误执行火花答案

【问题标题】：error execution spark with intellijIntellij 的错误执行火花
【发布时间】：2018-07-15 02:27:24
【问题描述】：

当我尝试用我的 intellij 运行 spark 时。

   Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
        at org.apache.spark.util.Utils$.getCallSite(Utils.scala:1306)
        at org.apache.spark.SparkContext.<init>(SparkContext.scala:82)
        at batch.BatchT$.main(BatchT.scala:15)
        at batch.BatchT.main(BatchT.scala)

我使用 spark 1.6，并创建了一个支持 scala 2.12.04 的模块。

【问题讨论】：

spark 不适用于 scala 2.12

标签： scala maven apache-spark intellij-idea

【解决方案1】：

原因是 scala 在次要版本之间不兼容。 Spark 1.6 默认使用 scala 2.10 编译（存在使用 scala 2.11 手动编译的选项）。 Spark 2.0+ 默认使用 scala 2.11 编译。

目前没有使用 scala 2.12 编译 spark 版本（计划仅支持 spark 3.0）

最简单的解决方案是将您的 scala 版本降级到 2.10（如果您使用较新的 spark 版本，例如 2.0+ 或专门编译的 spark 1.6，则为 2.11）。

【讨论】：