【问题标题】:Read 0.9.0 messages with KafkaConsumer 0.10.0?使用 KafkaConsumer 0.10.0 读取 0.9.0 消息?
【发布时间】:2016-06-03 23:36:18
【问题描述】:

是否可以使用 0.10.0 版本的 KafkaConsumer 从 0.9.0 代理读取消息?

阅读文档后,我看到了有关如何将代理从 0.9 升级到 0.10 的说明,以使其继续使用现有日志。然后甚至可以指示代理向旧消费者发送 0.9 条消息。

但我正在寻找另一种方式:新消费者,旧经纪人。

天真地尝试,我得到一个例外:

org.apache.kafka.common.protocol.types.SchemaException: Error reading field 'topic_metadata': Error reading array of size 1142898, only 2701 bytes available

有没有办法告诉 0.10.0 消费者期待旧式消息?

【问题讨论】:

    标签: apache-kafka kafka-consumer-api


    【解决方案1】:

    前段时间我在 Kafka Jira 中打开了一个类似的问题,并得到了一个非常明确的答案 - 先升级代理,然后是客户端,反之亦然。这样可以确保实现处理您的请求所需的所有功能,并且代理可以优雅地处理它。

    如果您对详细信息感兴趣,这是我打开的问题的链接 - https://issues.apache.org/jira/browse/KAFKA-2496

    【讨论】:

    • 阅读。我喜欢这样的理由,即只有经纪人需要谈论不同的版本。
    猜你喜欢
    • 1970-01-01
    • 2019-04-18
    • 1970-01-01
    • 1970-01-01
    • 2018-03-06
    • 1970-01-01
    • 1970-01-01
    • 2018-12-03
    • 2011-02-17
    相关资源
    最近更新 更多