Spark 流式传输 1.6 与 kafka 0.11

Question

我已将 kafka 代理从 0.8 升级到 0.11，现在我正在尝试升级 spark 流作业代码以与新的 kafka 兼容-我使用的是 spark 1.6.2-。

我搜索了很多执行此升级的步骤，但没有找到任何官方或非官方的文章。

我发现唯一有用的文章是this one，但它提到了 spark 2.2 和 kafka 0.10，但我收到了一条消息

但是，由于较新的集成使用新的 Kafka 消费者 API 而不是简单的 API，因此在使用上存在显着差异。此版本的集成被标记为实验性的，因此 API 可能会发生变化

是否有人尝试过将 spark-streaming 1.6 与 kafka 0.11 集成，还是先将 spark 升级到 2.X 更好，因为缺少有关 spark-streaming 和 kafka 的此版本组合的信息和支持？

Answer 1

经过大量调查，发现无法执行此操作，因为 spark-streaming 仅支持最高 0.10 的 kafka 版本（与 kafka 0.11、1.0.X 有很大不同）。

这就是为什么我决定从 spark-streaming 转移到使用新的 kafka-streaming api 的原因，它简直太棒了，使用简单，非常灵活，而且最大的优势是：它是一个库，你可以简单地将其添加到您的项目中，而不是包装您的代码的框架中。

Kafka-streaming api 几乎支持 spark 提供的所有功能（聚合、窗口化、过滤、MR）。