添加 spark-redis 连接器作为依赖项的问题答案

【问题标题】：Issues adding spark-redis connector as a dependency添加 spark-redis 连接器作为依赖项的问题
【发布时间】：2019-01-11 01:20:06
【问题描述】：

我正在尝试使用 RedisLabs 提供的 spark-redis 连接器。我可以在本地环境中尝试，下载必要的 jars 文件。

但是当我尝试在 EMR 中执行它时，我需要将它添加到我的 built.sbt 文件中，如下所示：

libraryDependencies += "redis.clients" % "jedis" % "2.9.0"
libraryDependencies += "org.apache.commons" % "commons-pool2" % "2.5.0"
libraryDependencies += "RedisLabs" % "spark-redis" % "0.3.2"

但我收到一条错误消息，说无法解决该依赖关系。它找不到 spark-redis 库。

还有其他方法吗？有什么建议吗？

【问题讨论】：

标签： apache-spark redis dependencies sbt redislabs

【解决方案1】：

我能够编译将 spark-streaming 添加到依赖项并包括来自外部 URL 的 spark 流的依赖项：

libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.3.0" % "provided"

libraryDependencies += "redis.clients" % "jedis" % "2.9.0"
libraryDependencies += "org.apache.commons" % "commons-pool2" % "2.5.0"

libraryDependencies += "RedisLabs" % "spark-redis" % "0.3.2" from "https://dl.bintray.com/spark-packages/maven/RedisLabs/spark-redis/0.3.2/spark-redis-0.3.2.jar"

【讨论】：