从 Twitter 流式传输的 Spark 依赖项配置

Question

我正在尝试使用 Twitter 流运行 Spark 应用程序。但是，我经常遇到依赖问题。 当我使用 org.apache.bahir spark-streaming-twitter 依赖项时，出现这样的错误：

module not found: org.apache.bahir#spark-streaming-twitter;2.0.0

这里是对应的build.sbt文件：

version := "0.1"
scalaVersion := "2.11.12"

libraryDependencies ++= Seq(
    "org.apache.bahir" %% "spark-streaming-twitter" % "2.0.0",
  "org.apache.spark" %% "spark-core" % "2.3.0",
  "org.apache.spark" % "spark-streaming_2.11" % "2.3.0",
  "com.typesafe" % "config" % "1.3.0",
  "org.twitter4j" % "twitter4j-stream" % "4.0.6"
)

但是当我使用旧的流依赖时，我得到ClassNotFoundException: : org.apache.spark.Logging 错误。 下面是对应的build.sbt：

version := "0.1"
scalaVersion := "2.11.12"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.3.0",
  "org.apache.spark" % "spark-streaming_2.11" % "2.3.0",
  "com.typesafe" % "config" % "1.3.0",
  "org.twitter4j" % "twitter4j-stream" % "4.0.6",
  "org.apache.spark" %% "spark-streaming-twitter" % "1.6.3"
)

为了运行我的应用程序，我运行sbt clean and package 命令。 那么我应该使用哪些依赖项以及如何配置它们来运行我的应用程序？

Answer 1

Twitter 后端已从 Spark 2.0 版本中删除，并且您声明的 bahir 版本与 Spark 版本不匹配。最后，bahir Twitter 已经带有 twitter4j-stream 依赖项（此时为 4.0.4）。使用：

val sparkVersion = "2.3.0"

libraryDependencies ++= Seq(
  "org.apache.bahir" %% "spark-streaming-twitter" % sparkVersion,
  "org.apache.spark" %% "spark-core" % sparkVersion,
  "org.apache.spark" %% "spark-streaming" % sparkVersion
)