Apache Flink 1.4 与 Apache Kafka 1.0.0答案

【问题标题】：Apache Flink 1.4 with Apache Kafka 1.0.0Apache Flink 1.4 与 Apache Kafka 1.0.0
【发布时间】：2018-08-11 13:59:20
【问题描述】：

我正在尝试让 Apache Flink Scala 项目与 Apache Kafka 1.0.0 集成。当我尝试在我的 build.sbt 文件中添加 flink-connector-kafka 包时，我收到一条错误消息，说它无法解决它。

当我查看 maven 存储库中可用的选项时，对于 0.10.2 以上的任何版本，都没有可用于 Apache Kafka 2.11-1.0.0 的 maven 依赖项

val flinkVersion = "1.4.1"
val flinkDependencies = Seq(
    "org.apache.flink" %% "flink-scala" % flinkVersion % "provided",
    "org.apache.flink" %% "flink-streaming-scala" % flinkVersion % "provided")
    "org.apache.flink" %% "flink-connector-kafka" % flinkVersion)

有谁知道如何正确集成这些版本，以便我可以将 Apache Flink 1.4 连接到 Apache Kafka 2.11-1.0.0，因为我似乎没有尝试过任何工作（而且我不希望降级我正在连接的 Kafka 版本到）。

【问题讨论】：

0.10.2 Kafka 客户端与 1.0.0 代理兼容

标签： apache-kafka sbt apache-flink flink-streaming

【解决方案1】：

试试

org.apache.flink" % "flink-connector-kafka-0.11_2.11" % "1.4.0

flink-connector-kafka-0.11_2.11 是 Flink 最新可用的 Kafka 连接器。

来源：https://search.maven.org/#search%7Cga%7C1%7Cflink%20kafka%20connector，https://search.maven.org/#search%7Cgav%7C1%7Cg%3A%22org.apache.flink%22%20AND%20a%3A%22flink-connector-kafka-0.11_2.11%22

Kafka 1.0 代理向后兼容 0.11 和 0.10 API。

【讨论】：

【解决方案2】：

这应该有效。试试：

val flinkVersion = "1.4.2"

libraryDependencies ++= Seq(
  "org.apache.flink" %% "flink-streaming-scala" % flinkVersion,
  "org.apache.flink" %% "flink-connector-kafka-0.11" % flinkVersion
)

【讨论】：