卡夫卡客户端兼容性答案

【问题标题】：Kafka Client compatibility卡夫卡客户端兼容性
【发布时间】：2020-01-07 18:05:02
【问题描述】：

我们在 Linux red-hat 服务器上使用以下 Kafka 客户端

0.8.1 Release
Released March 12, 2014
Release Notes
Source download: kafka-0.8.1-src.tgz (asc, md5)
Binary downloads:
Scala 2.8.0 - kafka_2.8.0-0.8.1.tgz (asc, md5)
Scala 2.8.2 - kafka_2.8.2-0.8.1.tgz (asc, md5)
Scala 2.9.1 - kafka_2.9.1-0.8.1.tgz (asc, md5)
Scala 2.9.2 - kafka_2.9.2-0.8.1.tgz (asc, md5)
Scala 2.10 - kafka_2.10-0.8.1.tgz (asc, md5)
We build for multiple versions of Scala. This only matters if you are using Scala and you want a version built for the same Scala version you use. Otherwise any version should work (2.9.2 is recommended).

从 Kafka 代理端，我们将 Kafka 代理版本升级到 1.X 版本

现在我们需要知道 Kafka 客户端兼容性 (0.8.1) 是否适合 Kafka 代理 - 1.0

经过搜索，我们找到了这个帖子Determine the Kafka-Client compatibility with kafka-broker

但我们没有发现 Kafka 客户端 0.8.1 与 Kafka 代理版本的兼容性

如何知道适合 Kafka 客户端版本 - 0.8.1 的 Kafka brokers 版本是什么？

【问题讨论】：

您是否尝试过在自己的计算机上下载并运行 Kafka 1.0，然后获取您的生产者和消费者代码并进行测试？？
还是不行，我想它会工作，但我们要按照正确的规则工作
在我看来，一些实验会比扫描 wiki 页面更容易

标签： apache-kafka kafka-consumer-api kafka-producer-api

【解决方案1】：

运行 0.8.1 的 Kafka 客户端不兼容 1.0 代理，甚至 0.9 代理，因为 KIP-35 在客户端 API 请求中包含协议版本以处理更好的跨版本支持

你可以在这里参考维基 - https://cwiki.apache.org/confluence/display/KAFKA/Compatibility+Matrix

我建议也使用 2.x 版本

【讨论】：

你的意思是我们需要安装客户端2.X吗？
我们使用的是 HDP 2.6.5
来自链接 - cwiki.apache.org/confluence/display/KAFKA/Compatibility+Matrix ，您如何识别客户端 0.8.1 的正确 kafka 版本？
我建议您收集所有重大更改的列表，从 0.9 开始，然后向上直到您感到满意为止。我还建议升级到 0.9，然后是 0.10，然后是 0.11，因为这些版本中的 API 发生了足够的变化。在我看来，从那里直接进入 2.x 会更安全...kafka.apache.org/090/documentation.html#upgrade
另一个问题 - 我们还有旧的 Kafka 版本 - 0.10 版本（来自 HDP 2.6.4），支持 Kafka 代理 - 0.10 的 Kafka 客户端版本范围是多少？