检查 Spark 包版本 [重复]答案

【问题标题】：Check Spark packages version [duplicate]检查 Spark 包版本 [重复]
【发布时间】：2017-06-10 23:59:11
【问题描述】：

我正在尝试使用IntelliJ Idea 在Ubuntu 16.04 上设置我的第一个Scala 项目。我需要Spark 库，并且我认为我已正确安装在我的计算机中，但是我无法在项目依赖项中引用它。特别是，我在build.sbt 中添加了以下代码：

libraryDependencies ++= Seq(
  "org.apache.spark" % "spark-core" % "2.1.1",
  "org.apache.spark" % "spark-sql" % "2.1.1")

但是sbt 抱怨找不到正确的包（Unresolved Dependencies 错误，org.apache.spark#spark-core;2.1.1: not found 和 org.apache.spark#spark-sql;2.1.1: not found）：

我认为包的版本不对（我从网上复制了之前的代码，只是为了尝试）。

如何确定正确的软件包版本？

【问题讨论】：

@AreTour，你需要绑定scala版本和你的依赖，在SBT，你可以通过%%:"org.apache.spark" %% "spark-core" % "2.1.1"

【解决方案1】：

如果您使用%，您必须将确切的版本定义为

libraryDependencies ++= Seq(
  "org.apache.spark" % "spark-core_2.10" % "2.1.1",
  "org.apache.spark" % "spark-sql_2.10" % "2.1.1")

如果您不想定义版本并让sbt 采用正确的版本，那么您需要将%% 定义为

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.1.1",
  "org.apache.spark" %% "spark-sql" % "2.1.1")

您可以通过执行检查安装的版本

spark-submit --version

【讨论】：