如何使用正确版本的 Scala 正确设置 Scala Spark libraryDependencies？答案

【问题标题】：How do you properly set up Scala Spark libraryDependencies with the correct version of Scala?如何使用正确版本的 Scala 正确设置 Scala Spark libraryDependencies？
【发布时间】：2018-09-27 05:08:46
【问题描述】：

我是 Scala Spark 的新手，我正在尝试使用 Intellij 创建一个示例项目。在项目创建期间，我选择了 Scala 和 Sbt 以及 Scala 版本 2.12，但是当我尝试添加 spark-streaming 版本 2.3.2 时，如果一直出错，所以我在 Apache 的网站上搜索了一下，发现下面显示的 sbt 配置，我仍然得到同样的错误。

Error: Could not find or load main class SparkStreamingExample
Caused by: java.lang.ClassNotFoundException: SparkStreamingExample

如何确定哪个版本的 Scala 适用于哪个版本的 Spark 依赖项？

name := "SparkStreamExample"

version := "0.1"

scalaVersion := "2.11.8"

libraryDependencies ++= Seq(

  "org.apache.spark" % "spark-streaming_2.11" % "2.3.2"
)

我的 Object 类非常基本，没有太多内容...

import org.apache.spark.SparkConf
import org.apache.spark.streaming.StreamingContext

object SparkStreamingExample extends App {
    println("SPARK Streaming Example")
}

【问题讨论】：

标签： scala apache-spark sbt

【解决方案1】：

您可以在Spark documentation 中查看 Spark 支持的 Scala 版本。

在撰写本文时，文档说：

Spark 可在 Java 8+、Python 2.7+/3.4+ 和 R 3.1+ 上运行。对于 Scala API，Spark 2.3.2 使用 Scala 2.11。您需要使用兼容的 Scala 版本 (2.11.x)。

请注意，仅支持 Scala 2.11.x。

【讨论】：