【发布时间】:2018-12-01 16:29:47
【问题描述】:
火花流是否与 0.8.2.1 以上的 kafka 版本兼容? 编写自定义接收器是使火花流使用 0.9 以上版本的 kafka 的唯一选择吗?
【问题讨论】:
标签: apache-spark apache-kafka spark-streaming spark-streaming-kafka
火花流是否与 0.8.2.1 以上的 kafka 版本兼容? 编写自定义接收器是使火花流使用 0.9 以上版本的 kafka 的唯一选择吗?
【问题讨论】:
标签: apache-spark apache-kafka spark-streaming spark-streaming-kafka
我刚刚在 server.properties 文件中添加了“inter.broker.protocol.version=CURRENT_KAFKA_VERSION(例如 0.8.2 或 0.9.0.0)”。这将使旧的 0.8.2.1 消费者能够从新版本的 kafka 代理接收数据。
【讨论】: