如何为 Spark Streaming 定义 Kafka（数据源）依赖项？

【问题标题】：How to define Kafka (data source) dependencies for Spark Streaming?如何为 Spark Streaming 定义 Kafka（数据源）依赖项？
【发布时间】：2017-01-23 19:51:07
【问题描述】：

我正在尝试使用 spark-streaming2.0.0 使用 kafka 0.8 主题，我正在尝试识别我尝试在 build.sbt 文件中使用这些依赖项所需的依赖项

libraryDependencies += "org.apache.spark" %% "spark-streaming_2.11" % "2.0.0"

当我运行 sbt 包时，我得到所有这三个 jar 的未解决的依赖关系，

但是这些罐子确实存在

https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-8_2.11/2.0.0

请帮助调试这个问题，我是 Scala 新手，所以如果我做的不对，请告诉我

【问题讨论】：

标签： apache-spark sbt spark-streaming spark-streaming-kafka

【解决方案1】：

问题在于您指定了 Scala 版本并且使用%% 试图推断您正在使用的 Scala 版本。

要么删除一个%：

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.0"
libraryDependencies += "org.apache.spark" % "spark-streaming_2.11" % "2.0.0"
libraryDependencies += "org.apache.spark" % "spark-streaming-kafka-0-8_2.11" % "2.0.0"

或者删除 Scala 版本：

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.0"
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.0.0"
libraryDependencies += "org.apache.spark" %% "spark-streaming-kafka-0-8" % "2.0.0"

【讨论】：